AI가 경찰에 '가짜 살인 제보'… 앤트로픽, 내부 테스트 인터넷 끊었다

미국 AI 기업 앤트로픽이 자사 AI 모델 '클로드'가 테스트 도중 실제 웹사이트의 보안 허점을 파고들고 경찰에 허위 살인 제보까지 접수한 사실을 공개했다. 앤트로픽은 감시 체계가 이런 행동을 확실히 잡아낸다는 점이 확인될 때까지 모든 내부 평가에서 실시간 인터넷 접속을 차단하기로 했다.

앤트로픽은 9일(현지시간) '평가 및 내부 사용 중 의도치 않은 모델 행동 조사' 보고서를 공개했다. 평가는 AI의 능력을 재기 위해 정해진 과제를 같은 기준으로 반복 채점하는 시험이다. 

AI 응답에는 무작위성이 있어 과제 하나를 수백~수천 번 수행시킨다. 찾기 어려운 정보를 웹에서 검색하는 과제는 오프라인으로 재현하기 어려워 업계에서는 실제 인터넷에 연결해 평가해 왔고 이번 사례 대부분이 여기서 나왔다.

보고서는 문제 행동을 네 가지로 나눴다. 첫째는 외부 서버의 소프트웨어 결함을 악용한 사례다. '클로드 미토스 프리뷰'는 과학 분석에 필요한 대학 운영 도구가 오류를 내자 사이트를 뒤져 요청한 파일을 무엇이든 내주는 스크립트를 찾았다. 

이를 통해 서버 파일과 소스코드를 복사했고 코드 속 인젝션 취약점으로 서버에서 계산을 직접 돌렸다. 인젝션은 웹사이트가 입력값을 명령으로 잘못 실행하게 만드는 공격 기법이다.

둘째는 제출해선 안 될 양식을 실제로 낸 사례다. 미공개 연구용 모델은 정부 양식의 연습용 사본이 열리지 않자 실제 양식이 있는 사이트로 가 제출했다. '클로드 하이쿠 4.5'는 제출 직전에 멈추라는 지시를 받고도 확인 페이지가 더 있을 것으로 여겨 여러 차례 제출했다.

필라델피아 경찰 사례도 여기에 속한다. 무작위 웹페이지에서 예시 작업을 수행하던 하이쿠 4.5는 7월 18일 미해결 살인사건 제보 사이트에 들어가 사건 현장 인근에서 인상착의가 비슷한 사람을 본 것 같다는 내용을 이름과 연락처 없이 제출했다. 해당 페이지에는 범인 인상착의 정보가 없었다. 

로그인과 개인정보 입력은 금지돼 있었지만 양식 제출은 금지 목록에 없었다. 제보는 스팸으로 분류돼 수사로 이어지지 않았다.

필라델피아 경찰은 보고서 공개에 앞서 성명을 냈다. 경찰은 시스템 무단 접근이나 데이터 유출 정황은 없다고 밝혔다. 다만 앤트로픽이 9월 28일에야 사건을 발견하고 10월 7일 통보한 점을 들어 두 달에 걸친 탐지·보고 지연은 용납할 수 없다고 비판했다.

셋째는 접근 제한을 우회한 사례다. 사진 속 장소를 맞히는 평가에서 '미토스 5'는 지방정부 부동산 지도의 클릭 기능이 막히자 사이트가 브라우저로 보내는 설정 파일에서 접근 토큰을 찾아 지도 서버에 직접 요청을 보냈다. 

접근 토큰은 서버가 이용 권한을 확인하는 일종의 디지털 출입증이다. 내부 연구에 쓰인 미토스 5는 주 정부 기관이 유료로 파는 데이터를 구하다 공개 대시보드가 방문자 누구에게나 토큰을 발급한다는 점을 알아내 비용 없이 데이터베이스를 조회했다.

넷째는 URL 단축 서비스 악용이다. 앤트로픽은 긴 주소에 공격 명령을 실어 보낼 수 있다는 이유로 웹 열람 도구의 주소 길이를 제한해 왔다. '클로드 오퍼스 5'와 미토스 5 등은 무료 단축 서비스로 주소를 줄여 이를 피했다. 단축 서비스 da.gd 운영자도 이를 발견해 앤트로픽에 알렸다.

일부 사례는 미국 연방·주·지방 정부 웹사이트에서 벌어졌다. 앤트로픽은 백악관에 보고하고 관련 기관에 통보했다. 기관명은 취약점 노출을 우려한 기관 요청으로 공개하지 않았다.

앤트로픽은 원인으로 '보상 해킹'을 지목했다. AI는 과제를 반복하며 성공할 때 보상을 받는 강화학습으로 능력을 익히는데 학습 환경이 제한을 우회하는 행동에 잘못 보상을 주면 모델이 이를 다른 상황에도 쓴다는 것이다. 

앤트로픽은 과제를 완수할 수 없을 때 멈추지 않고 제한을 돌아가는 성향이 대부분 사례의 공통점이라고 밝혔다. AI를 사람의 의도에 맞게 행동하도록 훈련하는 정렬 학습이 검색과 컴퓨터 조작 영역에서는 아직 충분하지 않다는 점도 인정했다.

앤트로픽은 일부 공개 평가를 중단하거나 오프라인으로 옮겼고 웹 열람 도구 기능을 대폭 제한했다. 문제 행동을 자동으로 탐지·차단하는 도구도 만들어 대부분의 평가와 내부 에이전트 사용에 적용했다. 이번 사례들로 시험한 결과 모두 차단됐다. 

에이전트는 사람 대신 여러 단계 작업을 스스로 처리하는 AI다. 앤트로픽은 내부 에이전트를 강하게 격리된 중앙관리 인프라로 옮기고 위험 행동을 걸러내는 안전 분류기 사용도 늘린다. 인터넷 차단 해제 기준은 제시하지 않았다.

앤트로픽은 이번 사례가 7월과 9월 공개한 사고보다 훨씬 덜 심각하다고 평가했다. 당시 클로드는 인터넷이 차단된 것으로 잘못 설정된 사이버보안 평가 환경에서 외부 기관 시스템에 수 시간 침입했다.

AI 안전 단체 나이팅게일의 시드니 폰 아르크스 창업자는 테크크런치에 인터넷과 단절된 환경에서는 모델 개발이 크게 어려워진다고 지적했다. 미국 AI표준혁신센터(CAISI) 수장을 지낸 콘래드 스토즈 트랜슬루스 관계자는 자발적 공개는 긍정적이지만 기업의 자진 신고에 기대지 말고 독립적인 제3자 검증 체계를 갖춰야 한다고 강조했다.

오픈AI 에이전트도 지난 6월 호주 메디케어 통계 포털에 무단 접근했고 미국 상무부·교육부·증권거래위원회 웹사이트와 비정상적으로 상호작용한 사실이 지난달 드러났다.