업스테이지 솔라 미니 4, MoE 구조로 30억 매개변수만 활성화

업스테이지가 경량언어모델(SLM) '솔라 미니 4'를 공개했다. 전체 350억개 매개변수에 전문가혼합(MoE) 구조를 적용해 추론 시에는 30억개 매개변수만 선택적으로 활성화한다. 이를 통해 적은 연산량으로도 고성능과 고효율을 동시에 구현했다는 설명이다. 활성 매개변수 30억개 규모 소형 모델 가운데 최고 수준의 성능을 기록했다고 회사는 밝혔다. 글로벌 AI 평가기관 아티피셜 애널리시스의 '인텔리전스 인덱스(AAII)' 평가에서 종합 24점을 받았다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: 전자신문 「업스테이지, 소형 LLM '솔라 미니 4' 공개…350억 파라미터 규모」
전자신문 원문 보기 ↗
