小米MiMo大模型創里程碑 通用GPU推理速度刷新紀錄達千tokens/s

小米集團（01810）在人工智能（AI）領域取得突破性進展，其AI團隊近日正式推出「Xiaomi MiMo-V2.5-Pro-UltraSpeed」模型。該模型成為全球首個在通用GPU上，推理速度突破每秒1,000個token（tokens/s）的萬億參數（trillion-parameter）級大模型，成功刷新旗艦級大模型的推理速度紀錄，標誌著小米在AI推理工程能力方面已躋身全球領先梯隊。 市場消息指，此項技術突破透過對模型推理系統進行全鏈路工程優化，在不犧牲模型效能的前提下，將推理速度顯著提升至1,000 tokens/s。值得留意的是，該成就無需訂製專用芯片，僅憑通用GPU即可實現，被業界形容為打破了長期以來「快、強、通用GPU無法兼得」的「不可能三角」限制，對AI模型在成本效益及普及應用方面意義重大。據技術團隊介紹，此突破乃基於MiMo-V2.5 Pro的SWA架構，結合FP4 Experts、DFlash解碼，並由TileRT團隊進行執行系統協同設計（Co-design），從模型層面以至推理引擎及GPU執行路徑進行全面優化。 投資者關注，由即日起至6月23日，MiMo-V2.5-Pro-UltraSpeed模式將以申請制形式限時開放，用户獲批後可透過API體驗服務。同步上線的API採用限時體驗價，定價為原版MiMo-V2.5-Pro的三倍，但預期能提供約十倍的輸出速度提升。目前，該服務僅支援API體驗，暫不支援Token Plan。據悉，由於高速推理資源供應有限，每個通過審核的帳號每日最多成功進入隊列10次，單次會話時長上限為30分鐘，如會話空閒逾5分鐘，系統將自動釋放資源。 據瞭解，自4月底以來，小米AI在模型能力、推理成本及推理效率三大維度上持續取得進展。小米創辦人兼董事長雷軍早前在社交平台發文強調：「這是業界首次在1萬億參數模型上突破1,000 tokens／秒的輸出速度。」公司解釋，過去大模型主要應用於聊天問答，然而隨著Agent（智能體）概念日益興起，模型角色正從單純「回答問題」轉變為「完成任務」。無論是開發應用程式、生成代碼，抑或多個Agent協同處理複雜工作流程，背後均需持續進行大量推理調用。 小米指出，以往限制這些高階應用場景普及的關鍵並非模型能力不足，而是推理延遲過高。當一項任務需調用數十次甚至上百次模型推理時，每輪數秒的等待會不斷累積，嚴重影響整體執行效率。受惠於MiMo-V2.5-Pro-UltraSpeed將推理速度提升至1,000 tokens/s，萬億參數大模型已具備接近即時完成複雜任務的能力。這將顯著降低智能編程、Agent協同及高頻量化交易等先進應用場景的技術門檻，預期將推動AI應用進入一個更廣泛、更高效的新階段。