前頂尖AI研究員發出嚴峻警告：人工智能失控風險逾五成 紐約擬推監管新政應對

近期，多位曾服務於全球領先人工智能（AI）企業的研究員，於紐約市議會一場有關AI安全的聽證會上，就AI發展潛在的巨大風險發出嚴峻警告，引起市場高度關注。他們憂慮若現行發展路徑不變，人類可能在不久將來失去對AI系統的控制，而紐約州及市當局亦正積極推進相關監管立法。 前Anthropic研究員Jacob Coxon在聽證會上指出，按照目前人工智能的發展速度與方向，人類喪失對AI系統控制的可能性已超過五成，最壞情況甚至可能導致人類文明面臨滅絕風險。Coxon強調，儘管AI技術能力正迅速躍升，並逐漸接近可進行自我改進的階段，然而業界至今仍未掌握有效控制這些先進AI系統的方法。他更嚴厲批評科技公司奉行「快速行動、事後修補」的初創企業文化來推動AI發展，形容這種做法「極其魯莽」，將人類置於前所未有的危險境地。 同場作證的前Google DeepMind研究員Alex Turner則評估，人工智能接管人類文明的機率約為三分之一。此外，前OpenAI研究員Daniel Kokotajlo亦警告，即使未出現AI完全失控的風險，掌握先進AI技術的少數企業仍可能因此取得過大的權力，導致權力過度集中。 鑑於此等深切憂慮，紐約市議會正積極討論多項監管AI的法案，以期為這項快速發展的技術劃定界線。相關草案建議要求所有在紐約市推廣、銷售或部署的AI系統，必須先經獨立專家審查，確保其安全性及可靠性。同時，亦考慮強制規定AI工具應設有緊急停止機制，以便在必要時能夠即時中止其運作。 與此同時，紐約州長霍楚爾早前亦宣佈，為加強對AI產業的監管及提升透明度，所有AI企業必須由今年11月起，於州政府指定平台註冊。此外，一旦發生重大安全事故，企業亦須於72小時內向州政府通報。這些措施旨在建立一個更負責任、更安全的AI發展環境。全球各地政府與科技界近期均高度關注人工智能快速發展所帶來的潛在風險，並積極探討如何實施有效監管，以平衡創新與安全之間的關係，確保技術發展惠及人類福祉。