본문 바로가기

ChipBase한국어 반도체 데이터베이스

최근 소식 오픈소스 EDA 릴리스 보류 큐

메모리(DRAM·NAND·HBM)

BOOST, HBM·호스트 메모리 동시접근으로 vLLM 처리량 개선

Semiconductor Engineering2026-09-211분 읽기영문 원문

분야 자료 사진 — 웨이퍼 스케일 집적 웨이퍼 · Richfiles · CC0 (기사 원문의 사진이 아닙니다)

조지아공대, 엔비디아 리서치, 스탠퍼드 연구진이 GPU의 HBM과 호스트 메모리에 동시에 비례적으로 접근해 대역폭을 함께 활용하는 런타임 시스템 'BOOST'를 발표했다. 커널 접근 패턴을 활용해 정적 모델 가중치는 모듈로 기반 페이지 배치로, 동적으로 할당되는 어텐션 KV 페어는 웨이브 인지형 페이지 풀로 관리한다. 연구진은 BOOST를 vLLM에 통합해 Grace Hopper 시스템에서 평가했으며, 동일 배치 크기 기준 HBM 단독 서빙 대비 TPOT을 개선했고, 고처리량 서빙 환경에서는 프리페칭 방식보다 높은 평균 처리량 향상을 보였다고 밝혔다. 논문은 2026년 9월 arXiv에 게재됐다.

이 글에 나온 것

엔비디아 #HBM #LLM추론 #vLLM #GPU메모리 #Grace Hopper

이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요.원문: Semiconductor Engineering 「Concurrent HBM And Host Memory Access Improves LLM Inference Throughput (Georgia Tech, Nvidia, Stanford)」

Semiconductor Engineering 원문 보기 ↗

메모리(DRAM·NAND·HBM) 소식 더 보기

키옥시아, 어플라이드 에픽센터 합류해 메모리 신소재 개발

어플라이드머티어리얼즈는 9월 29일(현지시간) 키옥시아가 에픽(EPIC) 센터의 혁신 협력사로 합류한다고 밝혔다. 에픽 센터는 미국 실리콘밸리에 조성된 반도체 장비·공정 혁신 상용화 공동 연구개발(R&D) 시설이다. 이 시설은 반도체 기업들의 연구 단계부터 양산까지 걸리는 상용화 시간을 단축하는 것을 목표로 한다. 키옥시아는 에픽 센터의 협업 환경에서 어플라이드와 차세대 메모리의 구조·소재 개발을 함께 진행할 계획이다.

디일렉 반도체2026-09-30

아스테라랩스, 리오 컨트롤러 개선 — AI 메모리월 대응

Astera Labs가 자사 Leo Smart 컨트롤러의 업데이트를 발표했다. 업계에서는 메모리월(memory wall)이 AI 워크로드 확산의 가장 큰 장애물로 지목되고 있으며, 메모리를 컴퓨트에 더 가깝게 배치하는 방식이 이를 해결하는 최적의 방안으로 여겨지고 있다. 이번 업데이트는 이러한 메모리 제약 문제를 겨냥한 것으로 소개됐다.

EE Times2026-09-29

SK하이닉스 HBM5, TSMC CoWoS 검증으로 파트너상 2년 연속

SK하이닉스가 TSMC의 CoWoS 기반 8세대 HBM(HBM5) 검증 협업 성과를 인정받아 올해의 파트너상을 수상했다. 지난해에 이어 2년 연속 수상으로, 회사는 지난 23일(현지시간) 미국 캘리포니아 산타클라라에서 열린 TSMC 오픈 이노베이션 플랫폼(OIP) 컨퍼런스에 참가했다고 28일 밝혔다. CoWoS는 TSMC의 2.5차원(2.5D) 첨단 패키징 기술로, HBM과 그래픽처리장치를 하나의 패키지로 통합하는 데 활용된다.

디일렉 반도체2026-09-28

GLM-5.3 희소 어텐션, HBM 캐시 용량 한계를 SGLang이 보완

SemiAnalysis는 희소 어텐션이 SDPA 연산의 메모리 대역폭은 줄이지만, top-k 선택 시 전체 컨텍스트를 HBM에 올려야 해 KV 캐시 용량 절감으로는 이어지지 않는다고 설명했다. SGLang 팀은 이를 보완하기 위해 KV 캐시를 HBM과 호스트 DRAM 사이에서 LRU 방식으로 옮기는 계층형 메모리 시스템 HiSparse를 설계했으며, 레이어 단위로 캐시 로딩과 연산을 겹쳐 처리해 캐시 미스 지연을 줄였다. 이어 SemiAnalysis는 Z.ai GLM-5.3 모델이 KV 압축과 희소 어텐션을 결합해 에이전트형 대화 이력을 처리하는 방식과, InferenceX 벤치마크를 통한 GB200·GB300·MI355X 기반 서빙 비교 결과를 소개했다. 벤치마크에서는 동시 요청 수가 늘수록 GPU 메모리 재사용 비중은 줄고 호스트 메모리 재사용 비중이 늘었지만, 전체 캐시 적중률은 높은 수준으로 유지됐다.

SemiAnalysis2026-09-28

G.Skill, DDR5 RMA 무상교체 — 가격 급등에도 평생보증 유지

한 PC 사용자가 2025년 5월 구매한 G.Skill Trident Z5 Neo RGB DDR5-6000 64GB 메모리 키트 중 32GB 스틱 하나가 2026년 9월 초 고장 나자 RMA 절차를 신청했다. 해당 제품은 현재 시세가 구매 당시보다 크게 오른 상태였지만, G.Skill은 9월 15일 반품된 불량 스틱을 접수한 뒤 약 2주 만에 정상 제품으로 교체해줬다. 이용자는 레딧에 이 경험을 공유하며 앞으로 G.Skill 제품만 구매하겠다고 밝혔다. Tom's Hardware는 AI발 부품 가격 급등 속에서 일부 제조사가 원가 환불 등으로 RMA 대응을 축소하는 사례가 늘고 있다고 전했다.

Tom's Hardware2026-09-28

Xcena, CXL로 메모리 병목 완화 — Hot Chips 2026 발표

한국 스타트업 Xcena가 Hot Chips 2026에서 컴퓨트 익스프레스 링크(CXL) 프로토콜을 활용해 메모리에 더 가까운 곳에서 데이터를 처리하는 방식을 소개했다. 메모리 근처에서 연산을 수행하는 개념 자체는 새롭지 않지만, Xcena는 CXL을 활용하면 더 나은 방식을 구현할 수 있다고 주장했다. 이 접근은 데이터 이동을 줄여 메모리 병목 문제를 완화하는 데 초점을 맞추고 있다.

EE Times2026-09-28

TSMC OIP서 SK하이닉스, HBM 공개 — AI 메모리 협력 확대

SK하이닉스는 지난 23일 미국 캘리포니아주 산타클라라에서 열린 TSMC 오픈 이노베이션 플랫폼(OIP) 콘퍼런스에 참가했다고 28일 밝혔다. OIP는 TSMC가 반도체 생태계 기업들과 기술 개발·협업을 위해 운영하는 개방형 혁신 플랫폼으로, SK하이닉스는 2024년부터 이 행사에 참여해왔다. 이번 행사에서 SK하이닉스는 '대규모 AI 확장을 뒷받침하는 메모리'를 슬로건으로 내걸고 고대역폭 메모리(HBM)와 서버용 D램, 기업용 솔리드스테이트드라이브(SSD) 등을 선보였다.

전자신문2026-09-28

마이크론 4분기 실적발표 예고, D램·낸드 가격 지표 부상

미국 마이크론이 10월1일(한국시간) 2026회계연도 4분기(6~8월) 실적을 발표한다. 마이크론은 이번 분기 매출을 500억 달러(±10억 달러)로 제시해 또 한 번 역대 최대 실적을 예고했다. 전분기 매출은 414억6000만달러로 전년 동기 대비 크게 증가한 바 있다. 메모리 3사 중 실적을 가장 먼저 공개하는 마이크론의 발표는 삼성전자와 SK하이닉스의 3분기 실적, D램·낸드 평균판매가격(ASP) 흐름을 가늠하는 지표로 주목받고 있다.

ZDNet Korea2026-09-27