Cerebras Systems

詳細簡報

Cerebras Systems, Inc.是一家總部位於加利福尼亞州桑尼維爾的私營半導體初創公司，由Andrew Feldman和來自SeaMicro（被AMD收購）及其他半導體公司的資深團隊於2016年創立。Cerebras開創了面向AI計算的晶圓級集成概念——將整個矽晶圓作為單片晶片使用而非切割成獨立小片——以消除制約GPU叢集在大型神經網路模型上性能的晶片間通信開銷。 WSE-3（晶圓級引擎3）於2024年3月發布，是Cerebras晶圓級晶片的第三代，也是迄今為止製造的最大商用半導體器件。由台積電5nm工藝製造，WSE-3佔用完整的300mm晶圓——46,225 mm²——集成90萬個AI優化處理核心、44 GB片上SRAM（21 PB/s的總記憶體頻寬）和7兆個電晶體。相比之下，英偉達H100晶片面積約為814 mm²，約小57倍。WSE-3的核心優勢在於所有90萬個核心通過片上互連以SRAM速度通信，消除了HBM記憶體頻寬瓶頸和NVLink/InfiniBand延遲，從而加速分散式GPU叢集處理每個訓練步驟的速度。 對於特定工作負載類型，實際性能提升是顯著的。對於能夠裝入WSE-3的44 GB SRAM的大語言模型訓練和推理，Cerebras展示了以每秒token數衡量的訓練速度比同等H100叢集快10至100倍，並具有完全確定性的延遲——這對於需要可重現時序的科學計算應用極具價值。CS-3系統（容納一塊WSE-3的機架單元）提供約125 petaFLOPS的稀疏計算能力。通過MemoryX（將權重存儲卸載到外部DRAM）和SwarmX（提供叢集互連網路），多個CS-3單元可以擴展，支援在WSE-3叢集配置上訓練數千億參數的模型。 Cerebras的目標市場有意與主流AI雲端服務商區分。公司專注於製藥和生物技術客戶（蛋白質折疊、分子動力學和藥物發現模型受益於其架構）、國家實驗室和政府研究客戶（NCAR、阿貢國家實驗室和多個能源部站點已部署Cerebras系統），以及通過Cerebras Government部門服務的國防和情報社區客戶。2024年9月，Cerebras與阿聯酋G42合作提供AI推理算力，2024年底秘密提交納斯達克IPO申請。 台積電依賴是Cerebras最關鍵的單一供應鏈約束。每塊WSE-3需要一整片300mm台積電5nm晶圓——與標準晶片訂單相比分配量異常大——且晶圓級器件的製造良率管理遠比標準晶片複雜，因為會破壞小晶片的缺陷在晶圓級設計中只會成為不可用的核心（通過冗餘核心設計解決）。台積電5nm產能與蘋果、英偉達、AMD等高優先級客戶共享，使Cerebras的晶圓分配取決於其在台積電客戶優先佇列中的地位。出口管制目前不直接影響Cerebras的產品線（面向美國和盟國客戶銷售），但任何由地緣政治因素引發的台積電未來產能約束將直接影響其生產。