"벤치마크"
뉴스
GLM-5.3, 앤트로픽 벤치마크서 클로드 미토스급 해킹 능력 확인
앤트로픽이 발표한 보고서에 따르면, 중국 지푸AI의 오픈웨이트 모델 GLM-5.3은 안전장치가 취약해 사이버공격에 악용될 수 있다. 앤트로픽 자체 익스플로잇벤치 테스트에서 GLM-5.3은 410회 시도 중 50회 크롬 익스플로잇을 완성해, 미공개 모델 클로드 미토스(56회)에 근접한 결과를 보였다. 또 다른 내부 벤치마크에서 GLM-5.3은 완전한 제어 흐름 탈취를 4% 성공시켜 미토스(6%)에 이어 두 번째로 높았고, 키미 K3와 딥시크 V4.1 플래시는 0%에 그쳤다. 앤트로픽은 기만적 프롬프트, 사고 토큰 선행 입력, 안전장치를 제거하는 '어블리테이션' 기법으로 GLM-5.3의 안전장치를 쉽게 우회할 수 있었다고 설명했다.
패키징·후공정IC-ThermBench 공개 — 2.5D·3D IC 열모델 검증 벤치마크
호주 UTS, 중국 상하이테크대, 독일 뮌헨공대 연구진이 2.5D 및 3D IC의 열특성을 학습하는 AI 모델을 평가하기 위한 개방형 벤치마크 'IC-ThermBench'를 제시한 논문을 발표했다. 이 벤치마크는 기존 3D-IC의 정상상태·과도상태·산업용 패키지 과제에 5만 개 샘플 규모의 신규 2.5D 칩렛 확장 데이터를 결합했다. 목적은 물리적 변동성과 서로 다른 패키지 간 분포 외(OOD) 전이 성능을 폭넓게 평가하는 것이라고 논문은 밝혔다. 해당 내용은 2026년 8월 arXiv에 사전 공개됐다.
M6 맥 미니, 2나노 공정 첫 적용 — 긱벤치 점수 대폭 상승
애플인사이더, 맥루머스 등 외신에 따르면 M6 칩 탑재 맥 미니의 긱벤치 7 테스트 결과가 공개됐다. M6 맥 미니는 싱글코어 4071점, 멀티코어 2만 2783점을 기록해 M4 맥 미니 대비 각각 약 24%, 48% 향상됐고 M2 맥 미니 대비로는 69%, 132% 향상됐다. M5 칩(14인치 맥북 프로 기준 싱글 3641점, 멀티 1만 7948점)과 비교하면 M6은 싱글 코어 최대 약 12%, 멀티 코어 최대 약 27% 더 빠르다. M6 칩은 애플 최초로 2나노미터 공정이 적용됐으며, 이번 맥 미니에 처음 탑재됐다. 신형 맥 미니는 사전 주문이 시작됐고 9월 22일부터 판매 및 배송된다.
엔비디아 루빈 NVL72, 에이전틱 추론 벤치마크서 블랙웰 능가
SemiAnalysis는 자체 에이전틱 추론 벤치마크 AgentX로 측정한 결과, 엔비디아의 신형 GPU 플랫폼 Vera Rubin NVL72가 프리릴리즈 소프트웨어 단계에서도 기존 Blackwell 대비 메가와트당 토큰 처리량이 최대 7배 높았다고 밝혔다. 이는 젠슨 황이 GTC 2026에서 제시한 3배 수치를 웃도는 결과다. TRTLLM NVFP4 Dense 기준 170TPS 구간에서 Vera Rubin NVL72는 GB300 대비 TCO당 총 처리량이 약 67배였고, 실제 서비스에 주로 쓰이는 60~100TPS 구간에서는 1.4~3배 수준이었다. SemiAnalysis는 소프트웨어 스택이 성숙할수록 이 격차가 더 벌어질 것으로 예상했다.
AAII v4.2 비공개 테스트 확대, 벤치마크 게이밍 대응
조지 카메론 아티피셜 애널리시스 공동창업자 겸 CPO는 14일 방한해 'AI 인텔리전스 인덱스(AAII)' v4.2 개편이 모티프테크놀로지스의 정부 독자 AI 모델 평가 탈락과 무관하다고 밝혔다. 그는 이번 개편이 비공개 테스트 비중을 20%에서 40%로 늘리고 실제 업무 수행 능력을 평가하는 'AA 브리프케이스'를 추가한 것으로, 벤치마크 게이밍을 막기 위한 지속적 개선의 일환이라고 설명했다. 모티프는 AAII 평가에서 참여팀 중 최고 점수를 받고도 전문가·사용자 평가에서 밀려 탈락해 벤치마크와 실제 성능 간 괴리 논란이 일었다. 카메론 CPO는 특정 기업·국가에 따라 평가 기준을 바꾸지 않고 모든 모델에 동일한 표준화된 방법론을 적용한다고 강조했다.
GPT-6 아스트라 실사용 후기 확산, 삼성·SK하이닉스 반등
오픈AI가 9월 3일 공개한 'GPT-6 아스트라'가 공개 일주일 만에 벤치마크 수치보다 실사용 후기 중심으로 화제가 옮겨가고 있다. 개발자들은 3D 워크스루 영상 제작, 반려동물 위탁·구직정보 검색 등에서 작업 시간이 크게 줄었다고 밝혔고, 코딩 작업에는 과거 대화를 재검색하는 방식이 도입돼 장시간 리팩터링의 한계를 보완했다. 다만 '터미널-벤치 4.0'에서는 57.9%를 기록해 결과 검증까지 맡기기는 이르다는 평가도 나온다. 국내에서는 AI 에이전트 확산에 따른 메모리 수요 확대 기대로 삼성전자와 SK하이닉스 주가가 반등했고, 김동원 KB증권 리서치본부장은 아스트라를 AGI 초기 단계 진입의 변곡점으로 평가했다. 아스트라는 사이버보안 평가에서 오픈AI 모델 중 처음으로 '위험' 등급을 받아 기업 워크스페이스에서는 기본값이 비활성화 상태다.
디노티시아 씨홀스 스토리지, MLPerf 벡터DB 평가 1위
디노티시아의 AI 스토리지 시스템 '씨홀스 스토리지'가 MLCommons 주관 'MLPerf Storage v3.0' 벡터 데이터베이스 부문에서 5만7619.8 QPS를 기록해 처리량 기준 세계 1위를 차지했다. 이번 평가는 과기정통부·IITP의 'HPC 이노베이션 허브' 사업 일환으로 TTA와 공동 수행됐으며, 전 세계 19개 기관이 참여했다. 씨홀스 스토리지는 단일 다중 노드 분산 구성으로 학습·체크포인팅·KV 캐시·벡터DB 등 4대 워크로드를 모두 완수한 유일한 시스템으로 등재됐다. 디노티시아는 Ceph 기반 400G 인피니밴드 환경에서 네이티브 RDMA 지원 풀스택을 직접 구현해 데이터 병목을 최소화했다고 설명했다.
시스템반도체·팹리스DLSS 5, NBA2K27 첫 적용, 벤치마크는 5090·5080만 공개
엔비디아가 논란이 된 신기술 DLSS 5를 2026년 9월 3일 오후 9시(태평양시간)부터 NBA2K27에 적용해 출시한다고 발표했다. RTX 50 시리즈 데스크톱·노트북 GPU와 지포스 나우에서 지원되며, 이전 세대 GPU는 지원 대상에서 제외된다. 엔비디아는 이 기술을 "3D 유도 신경 렌더링"이라 명명했고, 젠슨 황 CEO는 이를 "그래픽의 GPT 순간"이라고 표현했다. 회사는 RTX 5090과 5080의 4K 자체 벤치마크를 공개했지만 하위 모델의 4K 결과는 내놓지 않았으며, Tom's Hardware는 초기 테스트에서 프레임레이트가 크게 떨어질 수 있다는 우려가 나온다고 전했다.