Imagination, PowerVR GPU LLM 가속 성능지표 공개

Imagination이 PowerVR GPU 기반 거대언어모델(LLM) 추론 가속을 다루는 2부작 블로그의 첫 편을 공개했다. 이번 글은 LLM 추론이 프리필(Prefill)과 디코드(Decode) 두 단계로 나뉜다는 점을 설명하고, 각 단계 성능을 나타내는 지표인 첫 토큰 생성 시간(TTFT)과 토큰 간 지연시간(ITL)을 소개했다. 프리필 단계는 행렬-행렬 곱셈 연산으로 GPU의 연산 처리량에 좌우되고, 디코드 단계는 KV 캐싱을 활용한 행렬-벡터 곱셈으로 GPU 메모리 대역폭에 의존한다고 밝혔다. 다음 편에서는 Llama.cpp 추론을 Imagination GPU에 효율적으로 구현하는 작업을 다룰 예정이라고 전했다.

이 글에 나온 것