AI 에이전트 토큰 사용 인간의 5배 — HBM 수요와 연결

퓨처럼그룹 CEO 대니얼 뉴먼은 OpenRouter 데이터를 인용해 AI 에이전트의 토큰 사용량이 사람보다 많아졌다고 X에 밝혔다. a16z가 공유한 차트에 따르면 올해 2월 교차 이후 에이전트 토큰 사용은 크게 늘었고, 사람 사용 증가폭을 크게 웃돌았다. 에이전트 토큰의 대부분은 과거 대화를 다시 불러오는 캐시된 프롬프트에서 발생했으며, a16z는 이를 모델의 KV 캐시가 GPU의 고대역폭메모리(HBM) 용량을 넘어서는 현상과 연결했다. 매킨지의 2026년 AI 현황 조사에서도 대기업의 AI 에이전트 확장 응답 비율이 전년 대비 늘었다고 전해졌다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: Tom's Hardware 「AI agents use 5x more tokens than humans as cached prompts explode, headed for 10x」
Tom's Hardware 원문 보기 ↗
