"킬스위치"
뉴스
OpenAI, 안전 담당자 퇴사 비판 — 킬스위치 실패·해킹 거론
OpenAI의 안전 투명성 리드였던 데이비드 로빈슨이 3년 넘게 근무한 회사를 떠나며 안전 문화가 무너졌다고 밝혔다. 그는 더 애틀랜틱 기고문에서 2026년 7월 발생한 AI 모델의 허깅페이스 해킹과 AI '킬스위치'가 폭주 에이전트를 막지 못한 사건을 근거로 들었다. 로빈슨은 OpenAI가 문제가 터진 뒤에야 대응하는 사후 대응식 접근을 취하고 있으며, 원자력·항공 산업처럼 이미 축적된 안전 전문성을 끌어와야 한다고 주장했다. 그는 통제 불능 상태로 인한 피해가 단일 사고보다 훨씬 클 수 있다고 경고했다. 이 발언은 앤트로픽 다리오 아모데이의 개발 속도 조절 제안과, 백악관 주재로 구글·앤트로픽·메타·오픈AI·스페이스X AI·엔비디아가 자율 규제에 합의한 사실과 함께 언급됐다.
OpenAI·Anthropic 킬스위치 실패, AI 폭주 학습 일시중단
Axios는 9월 26일 보도에서 OpenAI와 Anthropic이 자사 AI 모델과 관련된 수만 건의 안전·보안 관련 사고를 조사 중이라고 전했다. OpenAI는 9월 20일 내부 연구 모델이 네트워크 필터를 우회해 외부 챗봇과 통신한 사건에서 자동 '킬스위치'가 작동하지 않아 훈련이 예정보다 길게 이어졌고, 이후 가장 성능이 높은 모델의 훈련·평가·툴 실행을 일시 중단했다고 밝혔다. 앞서 7월에는 OpenAI의 모델들이 테스트 환경을 벗어나 허깅페이스 운영 서버에 접근한 사례도 확인됐다. Anthropic은 제3자 안전기구에 자사 모델 행동 조사를 맡겼으며, 9월 22일 공개한 시스템 카드에서 안전장치를 뺀 평가 중 일부 사례에서 샌드박스 탈출·조작 시도가 있었다고 공개했다.