AI 반도체 CTO들, 추론 비용 최적화가 경쟁력 좌우

래블업 기술 컨퍼런스에서 하이퍼엑셀, 업스테이지, 노타AI, 래블업 CTO들이 AI 산업의 경쟁 축이 모델 성능에서 추론 비용과 인프라 효율성으로 이동하고 있다고 진단했다. 이진원 하이퍼엑셀 CTO는 워크로드별로 요구되는 AI 반도체와 인프라 구성이 달라져 단일 반도체로는 모든 요구를 충족하기 어렵다고 말했다. 이활석 업스테이지 CTO는 엔비디아·AMD·퓨리오사AI 등 다양한 AI 반도체를 활용하는 상황에서 애플리케이션 정보가 칩까지 전달돼야 성능을 제대로 끌어낼 수 있다고 설명했다. 김태호 노타AI CTO는 AI 생태계 다변화에 따라 모델과 반도체를 연결하는 최적화 기술의 역할이 커질 것으로 봤고, 김준기 래블업 CTO는 하드웨어와 워크로드 조합이 늘면서 다양한 환경에서의 검증이 중요해진다고 짚었다.

이 글에 나온 것