리벨리온 NPU 탑재 확대, SK텔레콤 4개 서비스서 일 40억 토큰 처리

리벨리온은 자사 NPU가 SK텔레콤의 에이닷 통화요약 한 줄 요약, 에이닷 스트리밍 음성합성(TTS), AI 고객센터(AICC) 상담 후처리 및 검색 시스템, 스캠뱅가드 미끼문자 탐지 등 4대 상용 서비스에 확대 적용됐다고 밝혔다. 지난해 12월 에이닷 통화요약 관계추정 기능에 자체 NPU 서버 아톰맥스를 최초 상용 적용한 이후 지난 6월부터 순차적으로 적용 범위를 넓혔다. 현재 리벨리온 인프라가 처리하는 트래픽은 하루 약 1,400만 건, 토큰 기준으로는 일 40억 개를 웃돈다고 회사는 설명했다. SK텔레콤은 NPU 수십 대와 가속 카드 수백 장을 연동한 NPU 팜을 구축해 GPU와 NPU를 서비스 워크로드에 맞춰 재배치하는 방식을 도입했다.

이 글에 나온 것