月之暗面開源旗艦模型Kimi K3 擁2.8萬億參數及百萬級詞元上下文

內地人工智能公司月之暗面近日正式宣佈，向公眾開放其旗艦大型語言模型Kimi K3的下載，標誌著其在開源模型領域邁出重要一步。據悉，Kimi K3擁有高達2.8萬億參數，並具備100萬詞元（token）的超長上下文窗口，使其能夠處理極為複雜和龐大的信息流。該模型更是全球首個開源的3萬億級別模型，專為長程編程、深度知識工作及複雜推理等前沿智能應用場景而設計。 月之暗面指出，Kimi K3的核心建立於Kimi Delta Attention（KDA）及Attention Residuals（AttnRes）兩項關鍵架構更新之上。這些創新旨在優化信息在更長序列及更深模型中的流動效率，確保模型在處理海量數據時的穩定性與準確性。公司續稱，Kimi K3相較於前一代Kimi K2，整體擴展效率提升約2.5倍，展現其在性能上的顯著飛躍。月之暗面此前曾表示，在過去一段時間內，Kimi模型在開源模型規模排行榜上保持領先地位。 在商業定價策略方面，Kimi K3的每100萬tokens輸入價格，若緩存命中，為人民幣2元；若緩存未命中，則為人民幣20元。而輸出價格則定為每100萬tokens人民幣100元。值得留意的是，該模型的實際上下文窗口約為104.86萬tokens。 市場分析認為，月之暗面開放Kimi K3，不僅展示其在大型語言模型研發上的實力，亦有望推動開源AI生態系統的發展，為開發者和企業提供更多創新工具，尤其是在處理長文本、複雜代碼和深度知識探究等領域。