騰訊混元AI Infra核心算子庫HPC-Ops獲重大升級 強化大模型推理效能

騰訊(00700)旗下人工智能研發團隊「騰訊混元」日前宣佈，其開源的大模型推理底層算子庫HPC-Ops已全面升級，推出全新的開源版本，並包含五大關鍵算子，旨在進一步提升推理系統的整體效能與適應性。 據騰訊混元指出，此次HPC-Ops的升級是為了滿足推理系統在面對動態業務負載時的靈活性，以及核心模組對複雜精度和高性能融合算子的迫切需求。騰訊混元AI Infra團隊期望透過這次更新，能有效解決現時大模型推理過程中常見的工程挑戰。 本次升級的重點在於緩解多個關鍵技術瓶頸。騰訊混元表示，在主流推理平台上，HPC-Ops新版本已有效改善了Attention長尾延遲、顯存搬運開銷及跨卡通訊等實際問題。多項性能指標經實測後，顯著優於現有的開源基線，顯示其在提升效率方面的顯著成效。 HPC-Ops是由騰訊混元AI Infra團隊開源並長期維護的一套工業級、高性能的大模型推理底層算子庫。其作為AI模型運行的基石，對於提升人工智能應用的執行速度和資源效率至關重要。市場分析普遍認為，騰訊持續強化其AI基礎設施，並透過開源方式推動技術共享與生態發展，有助於其在大模型競賽中保持領先地位。