비드래프트, NPU 역전파 기술로 소형 언어모델 학습 성공

비드래프트가 추론 전용 NPU만으로 언어모델을 처음부터 사전학습하는 데 성공했다고 14일 밝혔다. 회사는 자체 기술로 NPU에서 역전파 연산을 구현해 소형 언어모델 '브이코어(VKORE)-46M-NPU'를 학습시켰으며, 2025년 출시된 1세대 추론 전용 NPU가 사용됐다. 동일 모델을 GPU에서 학습한 결과와 비교한 손실 궤적의 상관계수는 0.99로 나타났다. 모델 가중치와 모델카드는 허깅페이스에 공개됐으나 핵심 학습 코드는 비공개로 유지되며, 구체적 구현 방식은 향후 논문으로 발표될 예정이다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: ZDNet Korea 「비드래프트, GPU 없이 NPU만으로 AI 사전학습 성공」
ZDNet Korea 원문 보기 ↗
