美國AI初創Anthropic發文促暫緩AI開發 警告「遞歸式自我改進」潛在社會風險

美國人工智能（AI）初創公司Anthropic近日發表文章，對AI系統的急速發展表達深切關注，並呼籲全球頂尖AI實驗室考慮放緩研發步伐，以應對人工智能潛在的重大社會風險。該公司特別指出，若AI系統獲得足夠的算力，或將很快在無人幹預的情況下實現「遞歸式自我改進」，即人工智能能夠自行不斷優化其性能，此舉可能帶來不可預見的挑戰。 文章進一步闡釋，儘管「遞歸式自我改進」的情況尚未出現，但其來臨的速度「可能比大多數機構的準備時間要快」，要求業界提早警惕。Anthropic認為，任何暫停或放緩AI發展的倡議，只有在獲得業界廣泛遵守的情況下才具意義，因此提出建立一個有效的核查機制至關重要，以確保所有參與者均能遵守協議。 為此，Anthropic提議各方就如何潛在地減慢AI開發速度達成一項全球性協議，並同步建立相應的核查機制，以確保競爭對手遵守該協議，避免單一機構放緩而導致競爭劣勢。該公司計劃在未來數月內，組織與政策制定者、研究人員及其他相關人士的對話，深入探討「遞歸式自我改進」的挑戰及核查系統的實施細節。 隨著人工智能技術在全球範圍內迅速發展，有關其安全、倫理及潛在社會影響的討論日益增多。Anthropic此番呼籲，反映了部分科技業界人士對AI發展軌跡的深層思考，以及對提前制定防範措施的迫切期望。投資者及政策制定者亦持續關注AI技術的發展方向與其伴隨的治理議題。