AWS 트레이니움3, 네이티브 파이토치 학습 전환 추진

SemiAnalysis는 AWS의 AI 가속기 트레이니움이 기존에는 추론에 강점을 보였으나 연구용 학습에는 약했다고 분석했다. 앤트로픽은 트레이니움2·3에서 프로덕션 추론과 강화학습 롤아웃을 운영 중이다. AWS 뉴런팀은 PyTorch/XLA 기반의 번거로운 구조를 벗어나 이거 모드와 torch.compile, PyTorch 표준 분산 API를 지원하는 네이티브 PyTorch 백엔드 TorchNeuron으로 전환을 추진하고 있다. SemiAnalysis는 트레이니움3 랙을 직접 테스트한 결과 방향성은 긍정적이나 CUDA 생태계만큼 성숙하지는 않았고 일부 버그도 발견했다고 밝혔다. 초기 버전은 BF16 학습에 집중하며 MXFP8은 지원하지 않는다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: SemiAnalysis 「Amazon’s Trainium Takes a Strike at the Training King」
SemiAnalysis 원문 보기 ↗
