Cerebras Systems

詳細情報

Cerebras Systems, Inc.はカリフォルニア州サニーベールに本社を置く非上場半導体スタートアップで、2016年にAndrew Feldmanとグループ（SeaMicro（AMDが買収）などの半導体企業出身のベテランチーム）によって設立された。Cerebrasは大規模ニューラルネットワークモデルでGPUクラスターのパフォーマンスを制約するチップ間通信オーバーヘッドを排除するため、シリコンウェハ全体を個別のダイに切断するのではなく単一の一枚岩チップとして使用するAIコンピューティング向けウェハースケール統合のコンセプトを開拓した。 2024年3月に発表されたWSE-3（Wafer Scale Engine 3）はCerebrasのウェハースケールチップの第3世代であり、商業販売向けに製造された史上最大の半導体デバイスだ。TSMCの5nmプロセスで製造されたWSE-3は300mmウェハー全体——46,225mm²——を占め、90万個のAI最適化処理コア・44GBのオンチップSRAM（21 PB/sの総メモリ帯域幅）・7兆個のトランジスタを集積する。比較すると、NVIDIAのH100ダイは約814mm²で、約57倍小さい。WSE-3の主要な優位性は、90万個のコアすべてがSRAM速度でオンチップインターコネクトを通じて通信することで、分散GPUクラスターが各トレーニングステップを処理する速度を制限するHBMメモリ帯域幅のボトルネックとNVLink/InfiniBandのレイテンシを排除することだ。 特定のワークロードタイプでの実用的なパフォーマンスへの影響は劇的だ。WSE-3の44GB SRAM内に収まるモデルの大規模言語モデルのトレーニングと推論において、Cerebasは1秒あたりのトークン数で計測したトレーニング速度が同等のH100クラスターより10〜100倍高速であり、完全に確定的なレイテンシを持つことを実証した——これは再現可能なタイミングを必要とする科学計算アプリケーションにとって価値ある特性だ。1台のWSE-3を収容するラックユニットCS-3システムは、スパースコンピュートで約125 petaFLOPSを提供する。複数のCS-3ユニットはMemoryX（重みストレージを外部DRAMにオフロード）とSwarmX（クラスターインターコネクトファブリックを提供）を使用してスケールでき、WSE-3クラスター構成で数千億パラメータのモデルのトレーニングが可能だ。 Cerebrasのターゲット市場セグメントは主流のAIクラウドプロバイダーから意図的に差別化されている。同社は製薬・バイオテクノロジー顧客（タンパク質折りたたみ・分子動力学・創薬モデルがそのアーキテクチャの恩恵を受ける）・国立研究所および政府研究顧客（NCAR・アルゴンヌ国立研究所・複数のエネルギー省サイトがCerebrasシステムを展開）・Cerebras Government部門を通じた国防・諜報コミュニティ顧客に注力している。2024年9月にCerebrasはUAEのG42とAI推論容量の提供でパートナーシップを結び、2024年後半にナスダックIPOの機密申請を行った。 TSMCへの依存はCerebrasの最も重要なサプライチェーン制約だ。各WSE-3は300mm TSMC 5nmウェハー全体を必要とする——標準的なチップ注文と比較して異常に大きいアロケーション——そしてウェハースケールデバイスの製造歩留まり管理は標準チップよりはるかに複雑だ。小さなダイを破壊するような欠陥がウェハースケール設計では単に機能しないコアになるだけのためだ（冗長コア設計で対処）。TSMCの5nm容量はApple・NVIDIA・AMDなどの高優先度顧客と共有されており、CerebrasのウェハーアロケーションはTSMCの顧客優先順位キューでの立場に依存している。輸出規制はCerebrasの現行製品ライン（米国および同盟国顧客への販売）に直接影響しないが、地政学的要因によるTSMCの将来的な容量制約はその生産に直接影響する。