Google發布KV快取壓縮新技術 有望顯著提升大型語言模型運算效能

大型語言模型（LLM）的快速發展，使其在處理複雜任務時的效能受到市場普遍關注。然而，隨著模型上下文視窗的擴大，用於儲存鍵值（KV）快取的記憶體需求亦隨之按比例增長。這不僅大量消耗圖形處理器（GPU）記憶體，更可能降低模型的推理速度，成為制約LLM擴展性的關鍵瓶頸。 為解決此挑戰，科技巨擘Google（谷歌）近日宣佈推出一系列創新的壓縮演算法。據Google表示，這些新技術包括TurboQuant、PolarQuant以及Quantized Johnson-Lindenstrauss（QJL），旨在高效壓縮快取資料，同時不影響模型輸出的品質和準確性。 在這些技術中，新型記憶體壓縮技術TurboQuant表現尤為突出。該技術能將大型模型儲存鍵值暫存壓縮至僅3位元（bit），實現高達6倍的記憶體縮減。市場消息指，TurboQuant在提升運算速度方面亦有顯著突破，最高可達8倍加速。值得留意的是，據稱此技術能在不損失任何準確性的前提下，大幅減少大模型的快取記憶體佔用。舉例而言，在Nvidia（輝達）H100 GPU平台上，採用4位元TurboQuant的計算方式，在處理注意力邏輯值時，比未經量化的32位元鍵快達8倍。 此外，PolarQuant技術在特定的「大海撈針」（needle in a haystack）檢索任務中，展現出近乎無失真的卓越性能。分析認為，Google推出的這些快取壓縮技術，有望為大型語言模型的記憶體優化和運算效率帶來革命性進展，進一步推動AI領域的創新與應用。