前OpenAI技術長Mira Murati新創Thinking Machines Lab 推出首款混合專家AI模型「Inkling」

由OpenAI前首席技術官（CTO）Mira Murati創立的人工智能（AI）初創公司Thinking Machines Lab（TML），近日正式發布其首個AI模型「Inkling」。據悉，Inkling定位為一個混合專家模型（MoE），旨在結合高效能與資源優化。 該公司介紹，Inkling模型擁有高達9750億個參數，其中410億個為活躍參數，並支援廣闊的上下文視窗，可處理多達100萬個詞元（tokens）。在預訓練階段，Inkling模型採用了包含45萬個tokens的多元數據，涵蓋文字、圖像、音訊及影片等範疇，以豐富其理解與生成能力。 為滿足不同應用場景的需求，Thinking Machines Lab亦同步分享了「Inkling-Small」的預覽版本。這是一個輕量級模型，雖擁有相對精簡的120億個活躍參數，但其訓練方法與Inkling主模型類似，並強調在顯著降低成本及延遲的同時，仍能展現強勁的性能。 混合專家模型（MoE）架構近年在大型語言模型發展中備受關注，其核心優勢在於能夠針對不同任務啟用特定的「專家」模組，從而提升運算效率，同時降低推理成本，為AI模型的規模化部署提供新的解決方案。市場消息指，Inkling的MoE架構主要參考了DeepSeek-V3的設計理念。此外，該模型在訓練的後期階段，亦有運用來自月之暗面的Kimi K2.5等開放模型所生成的數據進行優化，進一步提升其表現。然而，Thinking Machines Lab方面亦坦承，Inkling「並非當前最強模型，不論開源或閉源」，顯示其對產品的務實定位及對未來迭代的開放態度。