OpenAI '잘라페뇨' 칩, 자체 LLM으로 HLS 설계 가속

OpenAI가 8월 25일 공개한 첫 자체 AI 가속기 칩 '잘라페뇨(Jalapeño)'는 4비트 연산 기준 최대 13.4페타플롭스 성능과 232기가바이트 메모리, 초당 15.4테라바이트의 메모리 대역폭을 갖췄다. OpenAI는 엔비디아 GB300 대비 종단간 지연시간을 최대 3.6배 줄이면서 전력 소비도 낮췄다고 밝혔다. 설계는 아키텍처 구상부터 첫 실리콘까지 20개월, RTL 작성부터 테이프아웃까지는 9개월이 걸렸으며, 100명 미만의 설계팀이 물리설계를 담당한 브로드컴과 협업해 진행했다. OpenAI는 오픈소스 고수준 합성(HLS) 도구인 XLS 기반 워크플로에 자체 LLM을 접목했고, 시제품 도착 후 약 40시간 만에 특정 커널 성능을 이론적 한계 대비 0.31%에서 88.94%로 끌어올렸다고 설명했다. 잘라페뇨는 2048개 칩 단위 '팟'으로 배치되도록 설계됐다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: IEEE Spectrum 반도체 「How OpenAI Used Its Own LLMs to Design Its Jalapeño Chip」
IEEE Spectrum 반도체 원문 보기 ↗