시스템반도체·팹리스비드래프트, NPU 역전파 기술로 소형 언어모델 학습 성공
비드래프트가 추론 전용 NPU만으로 언어모델을 처음부터 사전학습하는 데 성공했다고 14일 밝혔다. 회사는 자체 기술로 NPU에서 역전파 연산을 구현해 소형 언어모델 '브이코어(VKORE)-46M-NPU'를 학습시켰으며, 2025년 출시된 1세대 추론 전용 NPU가 사용됐다. 동일 모델을 GPU에서 학습한 결과와 비교한 손실 궤적의 상관계수는 0.99로 나타났다. 모델 가중치와 모델카드는 허깅페이스에 공개됐으나 핵심 학습 코드는 비공개로 유지되며, 구체적 구현 방식은 향후 논문으로 발표될 예정이다.
ZDNet Korea