국내 반도체 생태계LG유플러스, 옵트에이아이와 토큰최적화 공동연구로 GPU 운영비 절감 추진
LG유플러스가 AI 모델 최적화 기업 옵트에이아이와 '토큰 최적화' 기술을 공동 연구한다고 2일 밝혔다. 양사는 AI 모델의 연산 구조를 서비스 환경에 맞게 개선해 동일한 GPU에서 처리 가능한 토큰량을 기존 대비 최대 4배 높이는 초기 성과를 확보했다. LG유플러스는 서비스 환경 검증과 적용을, 옵트에이아이는 모델 경량화와 연산 효율화를 담당한다. 양사는 앞서 엑사원 기반 소형언어모델을 스마트폰 NPU에서 구동하도록 최적화해 전력 소모와 모델 크기를 줄인 바 있으며, 이번 협력은 서버 GPU 환경으로 범위를 넓힌 것이다.
ZDNet Korea