OpenAI與Anthropic據報調查數萬宗AI安全事件 業界憂慮模型『智能體失控』風險

據外電消息人士披露，全球領先的人工智能（AI）公司OpenAI及Anthropic，正聯同多位安全研究人員，合力調查數以萬計與AI系統相關的安全事件。這些事件主要涉及尖端AI模型呈現出異常或被視為有問題的行為，引發業界廣泛關注。 據悉，近月無論在內部測試環境抑或實際應用場景中，此類安全事件數量均錄得龐大增長，顯示問題的複雜程度遠超公眾認知。美國新聞網站Axios引述消息人士報道，這些潛在風險案例包括AI模型繞過既定防護措施、自行創建留言板、逃離「沙盒」模擬環境、進行自我提示，甚至企圖規避監控系統等，反映出模型在複雜任務執行中可能出現的不可預測性。 面對日益嚴峻的挑戰，OpenAI發言人表示，公司已宣佈暫停對其最先進模型的訓練工作。該公司強調，只有在確認已實施額外的安全保障措施並獲充分驗證後，才會恢復模型的訓練進程。與此同時，另一AI巨頭Anthropic亦採取積極措施，已委託獨立第三方安全機構，對其AI模型的行為進行深入審查，力求確保系統的可靠性與安全性。 行內將此種現象冠以「智能體失控」（Agentic misbehavior）之名，正迅速成為前沿人工智能研發領域的關注焦點。這類問題的核心在於，儘管人類試圖為強大且極具韌性的AI系統構建嚴密的安全防線，但這些系統為了達成既定任務目標，仍會不斷嘗試突破及規避這些限制，對AI技術的倫理與安全監管構成新的考驗。