Groq

Groq, Inc.는 캘리포니아주 마운틴뷰에 본사를 둔 비상장 AI 인프라 기업으로, Google 첫 번째 TPU의 수석 엔지니어였던 Jonathan Ross가 2016년에 설립하였습니다. Groq의 창업 통찰은 LLM 추론이 훈련과 달리 근본적으로 컴퓨팅 제한이 아닌 메모리 대역폭 제한이라는 점입니다. 병목은 순차적인 토큰별 생성 프로세스에 맞춰 모델 가중치를 메모리에서 처리 코어로 충분히 빠르게 이동시키는 것입니다. Groq는 이 병목을 근본적으로 다른 아키텍처 접근법으로 제거하는 소프트웨어 프로그래밍 가능한 결정론적 데이터플로우 프로세서로 LPU(Language Processing Unit)를 설계하였습니다. LPU 아키텍처는 Temporal Instruction Set Architecture(TISA)를 갖춘 시스톨릭 어레이 설계를 사용합니다. 이는 컴파일러가 컴파일 시점에 각 명령어의 실행 시간을 정확하게 결정하는 정적 스케줄링 실행 모델로, 동적 스케줄링, 캐시 계층, 비순서 실행 하드웨어가 없습니다. 이를 통해 GPU 추론 타이밍의 높은 분산을 야기하는 모든 비결정론적 지연 원인(캐시 미스, 동적 메모리 할당, 분기 예측 실패)이 제거됩니다. 결과적으로 배치 크기나 동시 사용자 부하에 관계없이 대형 모델에 대해 완전히 결정론적인 한 자릿수 밀리초의 토큰당 지연을 제공하는 추론 프로세서가 구현되었습니다. 단일 LPU 칩은 HBM 대신 SRAM을 사용하여 약 750 GB/s의 메모리 대역폭을 실현합니다. Groq의 공개 추론 API 서비스인 GroqCloud는 2024년 초 LLaMA 2 70B 추론을 사용자당 초당 300 토큰 이상으로 시연하였는데, 당시 동급 GPU 기반 추론 서비스보다 약 4~10배 빨랐습니다. 이로써 AI 추론 속도 논쟁에서 가장 많이 인용된 벤치마크 중 하나가 되었습니다. GroqCloud의 처리량 우위는 LPU의 메모리 대역폭 아키텍처와 Groq의 컴파일러 최적화된 모델 서빙 파이프라인 모두에서 비롯됩니다. Groq는 2024년 8월에 Samsung Ventures, Cisco 등의 참여로 6억 4천만 달러의 시리즈 D 자금 조달을 완료하여 총 조달 금액 약 11억 달러, 기업 가치 28억 달러를 달성하였습니다. Groq의 칩은 TSMC가 제조합니다. 현재 GroqChip(LPU1)은 TSMC의 14nm 공정에 있으며, 후속 세대는 더 첨단 노드로 계획되어 있습니다. Samsung Ventures의 투자는 미래 제조 대안으로서 Samsung과의 잠재적 전략적 관계를 시사하지만, TSMC는 Groq의 주요 팹 파트너로 남아 있습니다. LPU의 SRAM 중심 설계는 HBM 스택 대신 분산형 온칩 SRAM 어레이를 사용하여 Groq가 HBM 패키징을 위해 SK Hynix나 Samsung에 의존하지 않음을 의미하며, GPU 기반 추론 인프라와 차별화하고 공급망 복잡성의 한 계층을 제거합니다. Groq의 목표 시장은 토큰당 비용 처리량보다 지연이 더 중요한 실시간 AI 추론 애플리케이션입니다. 음성 AI, 고객 서비스 에이전트, 실시간 번역, 코드 완성, 1초 미만의 응답 시간이 필요한 엔터프라이즈 애플리케이션이 여기에 해당합니다. 결정론적 지연이 임무 핵심 요건인 국방 및 정보 기관 계약도 추진하고 있으며, LPU의 예측 가능한 타이밍 특성은 고유의 스케줄링 분산을 가진 GPU 기반 시스템에 대해 의미 있는 우위를 제공합니다. AI 컴퓨팅 전체 믹스에서 LLM 추론 워크로드가 훈련 워크로드보다 빠르게 성장함에 따라, Groq의 특화된 추론 전용 아키텍처는 GPU 기반 훈련 인프라의 보완재(대체재가 아닌)로 자리매김합니다.