노타, NeurIPS 2026 채택 — 멀티모달 MoE 모델 경량화 기술

노타는 멀티모달 대규모언어모델을 위한 전문가 프루닝 기술 논문이 AI 학술대회 NeurIPS 2026 메인트랙에 채택됐다고 밝혔다. 이 기술은 혼합전문가(MoE) 모델에서 언어와 이미지 이해 능력을 함께 고려해 전문가 모듈을 제거하는 방식이다. 약 310억 파라미터 모델에서 전문가 모듈을 25% 제거했을 때 원본 성능의 98%를, 50% 제거했을 때도 91%를 유지했다. GPU 메모리 사용량은 58GB에서 31GB로 약 47% 줄어 40GB급 GPU 한 장으로도 구동이 가능해졌다. 노타는 이 기술을 자사 AI 최적화 플랫폼 넷츠프레소에 반영해 멀티모달·MoE 모델 지원을 확대할 계획이다.

이 글에 나온 것