智譜(02513)發表ZCube網絡架構 優化AI大模型推理效能

智譜(02513)近日宣佈，與馭馴網絡及清華大學聯手，成功開發並在開源模型GLM-5.1線上生產中推出新一代網絡架構ZCube。該創新架構旨在解決目前大規模預填充(Prefill)及解碼(Decode)分離(簡稱PD分離)部署中日益嚴峻的結構性網絡擁塞問題。 智譜表示，此ZCube架構在應用於千卡級GLM-5.1線上推理集羣後，取得了顯著的效能提升與成本優化。在GPU型號、軟件棧及業務代碼全部保持不變的前提下，ZCube可使GPU平均推理吞吐量提升15%。同時，時延表現亦獲大幅改善，首次令牌生成時間(TTFT)的P99指標降低達40.6%。在資本支出方面，交換機與光模組的成本亦可減少33%。 公司進一步強調，ZCube架構在相同規模下，相較於傳統的Clos/ROFT架構，可將交換機和光模組的投資成本降低約三分之一。以一個萬卡智算集羣為例，應用ZCube架構預計可為網絡硬件投資節省約2.1億至6.4億元人民幣。市場普遍認為，這意味著透過更低的網絡成本，便能獲得更佳的負載均衡與性能表現，對於現今AI大模型對高效能運算及資源優化的需求而言，具備重要意義，有助於推動人工智能基礎設施的進一步發展，降低大規模AI應用的部署門檻。