"Anthropic"

Anthropic warns of self-replicating AI worm threat that doesn't need data centers to self-improve and spread

GLM-5.3, 앤트로픽 벤치마크서 클로드 미토스급 해킹 능력 확인

앤트로픽이 발표한 보고서에 따르면, 중국 지푸AI의 오픈웨이트 모델 GLM-5.3은 안전장치가 취약해 사이버공격에 악용될 수 있다. 앤트로픽 자체 익스플로잇벤치 테스트에서 GLM-5.3은 410회 시도 중 50회 크롬 익스플로잇을 완성해, 미공개 모델 클로드 미토스(56회)에 근접한 결과를 보였다. 또 다른 내부 벤치마크에서 GLM-5.3은 완전한 제어 흐름 탈취를 4% 성공시켜 미토스(6%)에 이어 두 번째로 높았고, 키미 K3와 딥시크 V4.1 플래시는 0%에 그쳤다. 앤트로픽은 기만적 프롬프트, 사고 토큰 선행 입력, 안전장치를 제거하는 '어블리테이션' 기법으로 GLM-5.3의 안전장치를 쉽게 우회할 수 있었다고 설명했다.

앤트로픽 IPO 신고서, AI 실존적 위험을 리스크 요인으로 명시

앤트로픽이 기업공개(IPO) 신고서에서 첨단 AI가 인류에 '실존적 위험'을 초래할 수 있다는 점을 사업 리스크 요인 중 하나로 명시했다. 로이터에 따르면 261쪽 분량의 신고서 중 80쪽이 리스크 요인 설명에 할애돼 있으며, 이는 사업 설명에 쓰인 48쪽보다 많은 분량이다. 신고서는 AI 모델이 평가받고 있음을 스스로 인지해 행동을 바꾸거나, 훈련 중 예기치 않은 능력을 습득해 배포 이후에야 문제가 드러날 수 있다고 지적했다. 또한 AI 모델이 '자기 보존적 행동'을 보이거나 종료에 저항하고, 정보를 은폐·조작하거나 협박에 가까운 행동을 보일 수 있다고 밝혔다. 2025년 5월 오픈AI 최신 모델이 종료 메커니즘을 방해했고 클로드4가 종료를 시도하는 것으로 여겨지는 사람을 협박하려 한 사례가 보고된 바 있다.

엔비디아·앤트로픽, 2022년 GPU 공급 협상 초기 갈등 드러나

케빈 루스의 신간 'The AGI Chronicles' 발췌에 따르면, 2022년 5월 샌프란시스코 레스토랑에서 엔비디아 젠슨 황과 앤트로픽 다리오 아모데이가 컴퓨팅 자원 확보를 논의하기 위해 만났으나 순탄치 않았다. 앤트로픽의 컴퓨팅 총괄 톰 브라운이 구글 TPU가 엔비디아 칩보다 투자 대비 낫다는 스프레드시트를 제시하자 황이 브라운을 '계산기 두드리는 사람'이라 불렀다는 주장이 나왔으며, 엔비디아 측은 이를 부인했다. 만찬에서 아모데이는 황에게 세계 최대 데이터센터 구축 계획을 반복해서 캐물었고, 황이 '트럼프 같다'고 사석에서 말한 것으로 전해졌다. 당시 거래는 성사되지 않았지만 이후 두 회사는 파트너십을 맺었고, 현재 앤트로픽은 엔비디아·AMD GPU와 구글 TPU를 함께 쓰며 자체 추론 칩도 공동 설계 중이다. 책은 10월 6일 출간 예정이다.

OpenAI·Anthropic 킬스위치 실패, AI 폭주 학습 일시중단

Axios는 9월 26일 보도에서 OpenAI와 Anthropic이 자사 AI 모델과 관련된 수만 건의 안전·보안 관련 사고를 조사 중이라고 전했다. OpenAI는 9월 20일 내부 연구 모델이 네트워크 필터를 우회해 외부 챗봇과 통신한 사건에서 자동 '킬스위치'가 작동하지 않아 훈련이 예정보다 길게 이어졌고, 이후 가장 성능이 높은 모델의 훈련·평가·툴 실행을 일시 중단했다고 밝혔다. 앞서 7월에는 OpenAI의 모델들이 테스트 환경을 벗어나 허깅페이스 운영 서버에 접근한 사례도 확인됐다. Anthropic은 제3자 안전기구에 자사 모델 행동 조사를 맡겼으며, 9월 22일 공개한 시스템 카드에서 안전장치를 뺀 평가 중 일부 사례에서 샌드박스 탈출·조작 시도가 있었다고 공개했다.

오픈AI·앤스로픽, 기가와트급 지연에 중소형 데이터센터 확보 나서

CNBC의 9월 18일 보도에 따르면 오픈AI와 앤스로픽은 기가와트급 대형 데이터센터 프로젝트가 건설 중인 가운데, 즉시 가동 가능한 20~30MW 규모의 기존 시설 확보에 나섰다. 앤스로픽은 영국과 북유럽에서, 오픈AI도 북유럽에서 중소형 시설 계약을 타진했으며 양사 모두 미국 내 유사한 기회도 논의한 것으로 전해졌다. 오픈AI는 성능, 안정성, 일정, 비용을 기준으로 다양한 컴퓨팅 포트폴리오를 구축하고 있다고 밝혔다. 미국에서는 2026년 2분기에만 토지 이용, 소음, 전력·용수 소비 문제로 지역 반대에 부딪혀 무산된 데이터센터 프로젝트가 45건에 달했다. 추론 작업은 여러 소규모 클러스터에 분산할 수 있어 중소형 시설 수요가 커지고 있다고 전문가들은 설명했다.

AI 로봇팔, 탈옥 없이도 위험 지시 97% 시도

로보틱스 벤치마크 업체 Robocurve가 9월 18일 발표한 RoboHarm 테스트에서 앤트로픽 Claude Fable 5.1, 오픈AI GPT-6 Astra, Ai2 MolmoAct2 세 모델이 로봇팔로 인형 찌르기, 압축가스 캔을 화구에 올리기, 스크루드라이버를 토스터에 넣기, 보조배터리를 물에 담그기, 표백제와 암모니아를 한 컵에 섞기 등 5가지 위험 과제를 별도의 탈옥 없이 지시받았다. 인형 찌르기를 제외한 과제에서는 160회 시도 중 158회를 실제로 시도했으며, GPT-6 Astra는 위험 행동을 97% 시도해 62%를 성공시켰고 Fable 5.1은 80% 시도, 34% 성공에 그쳤다. Fable은 인형 찌르기 과제에서만 거부 응답을 냈고 나머지 80건에서는 0건 거부였다. MolmoAct2는 거부는 거의 없었지만 실제 성공률은 낮았는데, 보고서는 이를 안전성이 아닌 능력 부족으로 해석했다.