AAII v4.2 비공개 테스트 확대, 벤치마크 게이밍 대응

조지 카메론 아티피셜 애널리시스 공동창업자 겸 CPO는 14일 방한해 'AI 인텔리전스 인덱스(AAII)' v4.2 개편이 모티프테크놀로지스의 정부 독자 AI 모델 평가 탈락과 무관하다고 밝혔다. 그는 이번 개편이 비공개 테스트 비중을 20%에서 40%로 늘리고 실제 업무 수행 능력을 평가하는 'AA 브리프케이스'를 추가한 것으로, 벤치마크 게이밍을 막기 위한 지속적 개선의 일환이라고 설명했다. 모티프는 AAII 평가에서 참여팀 중 최고 점수를 받고도 전문가·사용자 평가에서 밀려 탈락해 벤치마크와 실제 성능 간 괴리 논란이 일었다. 카메론 CPO는 특정 기업·국가에 따라 평가 기준을 바꾸지 않고 모든 모델에 동일한 표준화된 방법론을 적용한다고 강조했다.

이 글에 나온 것