輝達推AI安全平台應對潛在風險 業務觸角延伸至軟件基礎設施

面對多位科技界領袖對人工智能（AI）可能構成生存威脅的持續警告，全球AI晶片龍頭輝達(Nvidia)積極回應業界對AI安全的關注，發布一套名為「Open Agent Safety Platform」的全新AI安全架構，旨在從底層管控智能代理（AI Agent）的潛在風險。 據瞭解，這項雙層AI安全平台由兩款開源軟件工具OpenShell與Nvidia Sentry組成，可直接在輝達硬件之上運行。該系統的核心功能是實時監控及管理AI代理的存取權限，一旦偵測到違規行為，便能即時將其關閉。 輝達方面指出，該系統具備在毫秒級別內隔離異常代理的能力。公司更聲稱，若相關實驗室能預先部署此技術，便可有效阻止今年7月發生的OpenAI模型攻擊Hugging Face的事件。 輝達企業AI副總裁Justin Boitano進一步闡釋，Open Agent Safety Platform的設計理念，是確保AI代理的行為在預設邊界內運行，並在觸發違規規則後立即介入。其中，OpenShell負責控制AI代理可訪問的資源及執行許可權，而Nvidia Sentry則專責監控代理行為並識別潛在威脅。此架構旨在協助企業及AI實驗室在更嚴格的安全框架下測試先進AI系統，同時避免因安全疑慮而拖慢研發進程。至於OpenAI和Anthropic等主要AI開發商是否計劃採用此係統監控訓練過程，Boitano表示將由各公司自行決定。 市場觀察家普遍認為，輝達此舉不僅是對業界日益增長的AI安全擔憂的直接回應，更預示其業務觸角正從核心的AI晶片製造，進一步延伸至AI軟件及安全基礎設施領域。此策略意味輝達嘗試透過許可權控制和異常隔離等技術手段，從基礎層面降低自主AI代理可能帶來的安全風險。 輝達行政總裁黃仁勳近期亦多次公開強調，AI安全問題應主要透過技術手段來解決，而非單純依賴新設的監管框架。他雖曾對部分AI開發者關於AI可能威脅人類生存的警告表達質疑，但同時亦重申AI系統必須經過嚴格的安全測試。 與此同時，業界對於AI潛在威脅的討論持續升温。微軟創辦人Bill Gates早前在接受美國全國廣播公司（NBC）訪問時警告，AI有能力造成逾十億人死亡，形容不良分子濫用最新的AI工具所造成的殺傷力，甚至超越任何現有武器。他呼籲美國國會議員應通過具強制性的法例，以加強對AI研發的監管，並認為儘管這會為行業帶來額外負擔，但不會大幅減緩其研發速度。