HBM 컨트롤러 ECC REACH, AI 추론 오류정정 부담 완화

미국 렌셀러공과대학교(RPI)와 IBM T.J. 왓슨 연구센터 연구진이 'REACH: Controller-Managed Long-Span ECC for HBM AI Inference'라는 논문을 발표했다. HBM 비용 문제로 더 넓은 범위의 소자 오류율을 견딜 수 있는 강력한 컨트롤러 보호 기법이 필요하다고 설명했다. 긴 구간 오류정정코드(long-span ECC)는 비슷한 코드율에서 더 강한 보호를 제공하지만, 직접 구현하면 소규모 접근이 구간 전체 상태와 결합되고 HBM 대역폭에서 비용이 큰 디코딩이 필요하다는 문제가 있다. 연구진은 읽기 위주인 LLM 디코딩 특성을 활용해, 순차 읽기는 구간 집계를 지원하고 희소한 쓰기는 패리티 갱신 트래픽을 줄인다는 점에 착안해 REACH 컨트롤러 마이크로아키텍처를 제안했다. REACH는 기존 내부 코드로 일반적인 오류를 정정 및 미해결 청크를 식별하고, 긴 외부 코드는 알려진 소거 오류 복구용으로 남겨두는 구조다.

이 글에 나온 것