"Engram"

Engram 기술, HBM 부담 줄이고 DRAM·SSD 오프로딩 지원

SemiAnalysis는 DeepSeek이 도입한 'Engram' 아키텍처를 분석했다. Engram은 토큰 임베딩에 학습된 다중 토큰 조회 기능을 더해, 반복되는 패턴을 어텐션·피드포워드 연산 없이 직접 벡터로 불러오는 방식이다. 각 토큰이 접근하는 임베딩 행 주소가 토큰ID로 정해져 있어, 호스트 DRAM에서 미리 불러오는 프리페치가 가능해 해당 테이블을 HBM 밖에 둘 수 있다. DeepSeek-V4.1-Flash 구성에서 Engram은 약 189GiB의 메모리를 사용하며, SemiAnalysis는 이를 mmap 파일로 대체해 SSD 오프로딩 성능을 측정했다. 원 논문의 추론 시 제거 실험에서는 사실지식 벤치마크 성능이 원래의 29~44%만 유지된 반면 독해 벤치마크는 81~93%가 유지됐고, SemiAnalysis 자체 실험에서는 Engram 제거 시 여러 도메인에서 토큰 예측 손실이 악화됐다.