Cerebras Systems

Cerebras Systems, Inc.는 캘리포니아주 서니베일에 본사를 둔 비공개 반도체 스타트업으로, 2016년 Andrew Feldman과 SeaMicro(AMD가 인수) 및 기타 반도체 기업 출신 베테랑 팀이 설립하였습니다. Cerebras는 AI 컴퓨팅을 위한 웨이퍼 스케일 통합 개념을 개척하였으며, 실리콘 웨이퍼 전체를 개별 다이로 절단하는 대신 단일 모놀리식 칩으로 사용함으로써 대형 신경망 모델에서 GPU 클러스터의 성능을 제약하는 칩 간 통신 오버헤드를 제거하였습니다. 2024년 3월에 발표된 WSE-3(Wafer Scale Engine 3)는 Cerebras 웨이퍼 스케일 칩의 3세대이자 상업 판매를 위해 제조된 가장 큰 반도체 장치입니다. TSMC의 5nm 공정으로 제조된 WSE-3는 300mm 웨이퍼 전체인 46,225 mm²를 점유하며 90만 개의 AI 최적화 처리 코어, 44 GB의 온칩 SRAM(21 PB/s의 총 메모리 대역폭), 7조 개의 트랜지스터를 집적합니다. 비교하자면 NVIDIA의 H100 다이는 약 814 mm²로 약 57배 작습니다. WSE-3의 핵심 장점은 90만 개의 코어 모두가 온칩 인터커넥트를 통해 SRAM 속도로 통신하여 분산 GPU 클러스터가 각 훈련 단계를 처리하는 속도를 제한하는 HBM 메모리 대역폭 병목 및 NVLink/InfiniBand 지연을 제거한다는 것입니다. 특정 워크로드 유형에서의 실제 성능 향상은 극적입니다. WSE-3의 44 GB SRAM에 맞는 모델에 대한 LLM 훈련과 추론에서 Cerebras는 초당 토큰 수 기준으로 측정한 훈련 속도가 동급 H100 클러스터보다 10~100배 빠르며 완전히 결정론적인 지연을 달성함을 입증하였습니다. 이는 재현 가능한 타이밍이 필요한 과학 컴퓨팅 응용 분야에서 가치 있는 특성입니다. CS-3 시스템(WSE-3 하나를 수용하는 랙 유닛)은 약 125 petaFLOPS의 희소 컴퓨팅 성능을 제공합니다. MemoryX(가중치 저장을 외부 DRAM에 오프로드)와 SwarmX(클러스터 인터커넥트 패브릭 제공)를 사용하여 여러 CS-3 유닛을 확장할 수 있으며, WSE-3 클러스터 구성에서 수천억 파라미터 모델 훈련이 가능합니다. Cerebras의 목표 시장 세그먼트는 주류 AI 클라우드 제공업체와 의도적으로 차별화됩니다. 동사는 제약·바이오테크 고객(단백질 접힘, 분자 동역학, 신약 개발 모델이 아키텍처의 혜택을 받음), 국립 연구소 및 정부 연구 고객(NCAR, 아르곤 국립 연구소, 여러 에너지부 사이트가 Cerebras 시스템을 배포함), Cerebras Government 사업부를 통한 국방 및 정보 커뮤니티 고객에 집중하고 있습니다. 2024년 9월 Cerebras는 UAE의 G42와 파트너십을 체결하여 AI 추론 서비스를 제공하고, 2024년 말에는 Nasdaq IPO를 위한 기밀 신청을 제출하였습니다. TSMC 의존성은 Cerebras의 가장 중요한 단일 공급망 제약입니다. 각 WSE-3는 전체 300mm TSMC 5nm 웨이퍼가 필요하며, 이는 표준 칩 주문에 비해 비정상적으로 큰 할당입니다. 웨이퍼 스케일 장치의 제조 수율 관리는 표준 칩보다 훨씬 복잡합니다. 소형 다이를 손상시킬 결함이 웨이퍼 스케일 설계에서는 단순히 비기능 코어가 될 뿐이기 때문입니다(중복 코어 설계로 해결). TSMC의 5nm 생산 능력은 Apple, NVIDIA, AMD 등 우선순위가 높은 고객들과 공유되므로 Cerebras의 웨이퍼 할당은 TSMC 고객 우선순위 큐에서의 위치에 따라 결정됩니다. 수출 통제는 현재 Cerebras의 제품 라인(미국 및 동맹국 고객에게 판매)에 직접적인 영향을 미치지 않지만, 지정학적 요인으로 인한 향후 TSMC 생산 능력 제약은 동사의 생산에 직접적인 영향을 미칠 것입니다.