Groq

詳細簡報

Groq, Inc.是一家總部位於加利福尼亞州山景城的私營AI基礎設施公司，由Google第一代TPU首席工程師Jonathan Ross於2016年創立。Groq的創業洞察是：LLM推理——與訓練不同——在本質上受記憶體頻寬而非計算能力限制：瓶頸在於以足夠快的速度將模型權重從記憶體移動到處理核心，以跟上逐token的順序生成過程。Groq將LPU（語言處理單元）設計為一種軟體可程式化的確定性數據流處理器，通過根本不同的架構方法消除這一瓶頸。 LPU架構採用具有時序指令集架構（TISA）的脈動陣列設計——一種靜態調度執行模型，編譯器在編譯時精確確定每條指令的執行時間，無動態調度、無快取層次結構、無亂序執行硬體。這消除了導致GPU推理時序高度不確定性的所有來源（快取未命中、動態記憶體分配、分支預測失敗）。結果是一個推理處理器，無論批次大小或並行用戶負載如何，都能對大型模型提供完全確定性的個位數毫秒每token延遲。單塊LPU晶片使用SRAM（而非HBM）實現約750 GB/s的記憶體頻寬。 GroqCloud是Groq的公開推理API服務，2024年初展示了LLaMA 2 70B推理每用戶每秒超過300 token的速度——比當時同等GPU推理服務快約4至10倍——成為AI推理速度辯論中被引用最多的基準測試之一。GroqCloud的吞吐量優勢來自LPU的記憶體頻寬架構和Groq編譯器優化的模型服務管線。Groq於2024年8月完成D輪融資6.4億美元，投資方包括三星創投、思科等，總融資額約11億美元，估值28億美元。 Groq的晶片由台積電製造。當前GroqChip（LPU1）採用台積電14nm工藝；後續代次計劃採用更先進節點。三星創投的投資暗示三星作為未來製造替代方案的潛在戰略關係，但台積電仍是Groq的主要代工合作夥伴。LPU以SRAM為核心的設計——使用分散式片上SRAM陣列而非HBM堆疊——意味著Groq不依賴SK海力士或三星提供HBM封裝，與GPU推理基礎設施形成差異化並消除一層供應鏈複雜性。 Groq的目標市場是延遲比每token成本吞吐量更重要的實時AI推理應用：語音AI、客服智能體、實時翻譯、程式碼補全以及需要亞秒級響應時間的企業應用。公司還在追求確定性延遲是任務關鍵需求的國防和情報社區合同——LPU可預測的時序特性對於具有固有調度不確定性的GPU系統提供了顯著優勢。隨著LLM推理工作負載在整體AI計算組合中增長速度超過訓練工作負載，Groq專用推理架構將其定位為GPU訓練基礎設施的補充（而非替代）。