LG유플러스, GPU 토큰 처리 효율화 기술 공동개발 나서

LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 함께 동일 GPU에서 처리 가능한 AI 토큰량을 최대 4배 높이는 토큰 최적화 기술을 공동 연구한다고 2일 밝혔다. 생성형 AI 서비스 확대로 늘어나는 GPU와 전력 비용 부담을 줄이기 위한 목적이다. 토큰은 AI가 질문을 해석하고 답변을 생성할 때 처리하는 데이터의 기본 단위이며, 토큰 최적화는 AI 모델의 크기나 연산량을 줄여 동일한 컴퓨팅 자원으로 더 많은 요청을 처리할 수 있게 하는 기술이라고 LG유플러스는 설명했다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: 디일렉 「LG U+, AI 토큰 처리량 최대 4배…GPU 비용 절감 기술 개발」
디일렉 원문 보기 ↗
