"세레브라스"

엔비디아·세레브라스 추론속도 논쟁 — 실제 서비스는 메모리 제약에 좌우

엔비디아는 Hot Chips 학회에서 그록-3 기반 LPX 랙이 양산에 들어갔으며 Gemma 4 31B 모델에서 초당 3,400토큰의 성능을 냈다고 밝히고, 이는 세레브라스보다 4배 빠르다고 주장했다. 세레브라스도 차세대 CS-4 가속기로 유사한 성능을 낼 수 있다고 반박했다. The Register는 이런 최고 속도 수치가 메모리와 KV 캐시 용량 제약으로 실제 서비스 환경에서는 재현되기 어렵다고 분석했다. SRAM 기반 가속기는 동시 사용자 처리 규모를 늘리기 어려워, 엔비디아와 세레브라스 모두 GPU와 결합하는 이기종 컴퓨팅 구조로 방향을 잡고 있다고 전했다.