OpenAI前CTO初創Thinking Machines Lab推AI模型Inkling 採混合專家架構支援百萬詞元

由OpenAI前首席技術官(CTO)Mira Murati創立的人工智能(AI)初創公司Thinking Machines Lab(TML)，近期正式對外發布其首個大型AI模型「Inkling」。此款模型採納了市場關注的混合專家模型(Mixture-of-Experts, MoE)架構，旨在提升AI處理複雜任務的效率及性能。 據Thinking Machines Lab介紹，Inkling模型擁有龐大的9750億個總參數，其中活躍參數達410億個。尤其值得留意的是，該模型支援高達100萬個詞元(tokens)的超長上下文視窗，這對於處理長篇文字、複雜代碼或多模態數據具有顯著優勢，反映了當前AI技術在處理資訊廣度上的趨勢。 在模型預訓練階段，Inkling利用了包含45萬個tokens的文字、圖像、音訊及影片數據進行多模態學習。為滿足不同應用場景的需求，TML亦同步推出了輕量級版本「Inkling-Small」的預覽版。Inkling-Small擁有120億個活躍參數，採用與主模型類似的訓練方法，但在營運成本及延遲方面表現更為優越，同時仍能提供強勁的性能表現。 市場消息指，Inkling的MoE架構在設計上主要參考了DeepSeek-V3。此外，在後續的訓練優化過程中，Thinking Machines Lab亦巧妙地利用了來自開放模型所生成的數據，其中包括月之暗面旗下Kimi K2.5等，以進一步提升模型的表現。然而，Thinking Machines Lab方面亦坦承，Inkling「並非當前最強模型，不論開源或閉源」，顯示其在AI技術研發上的務實態度與持續改進的空間。 近年來，混合專家模型MoE作為一種高效訓練大型語言模型的方式，已獲得業界廣泛關注，被視為克服傳統密集型模型計算資源瓶頸的有效途徑。多家領先的AI公司均已在其最新模型中採用此類架構。