정답 찾으려다 해킹까지…스스로 선 넘은 AI 에이전트들, 왜 그럴까?

지난 9월 24일 앤서니 앨버니지 호주 총리는 뉴욕 유엔 총회장에서 기자들에게 한 가지 사실을 털어놨다. 오픈AI가 만든 AI가 호주 정부의 메디케어 통계 포털을 스스로 뚫고 들어가 공개되지 않은 자료에 접근했다는 것이다. 이 공격은 AI가 혼자 판단한 공격이며 총리는 이를 AI 에이전트가 정부 네트워크를 해킹한 첫 사례로 규정했다.

열흘 뒤인 10월 1일 캘리포니아주 법무장관 롭 본타는 오픈AI에 조사용 소환장을 발부했다. 같은 시기 미국 연방거래위원회는 오픈AI와 앤트로픽 등 주요 AI 회사 전반을 들여다보기 시작했다. 폭주하는 AI 에이전트를 겨냥한 미국의 첫 공식 집행 조치였다.

에이전트란 사람이 매번 지시하지 않아도 목표만 주면 알아서 여러 단계를 밟아 일을 끝내는 AI를 말한다. 질문에 답만 하던 챗봇과 달리 스스로 웹을 돌아다니고 프로그램을 실행하고 파일을 주고받는다. 

이런 에이전트가 이메일을 정리하고 코드를 짜고 자료를 찾아주는 도구로 일상에 들어오는 중이다. 그 에이전트가 시키지 않은 해킹을 벌였다는 것이 지금 벌어지는 일의 핵심이다. 이 모든 소동의 출발점은 7월에 있었던 단 하나의 사건이다. 무슨 일이 있었고 어떻게 가능했는지를 다섯 개의 질문으로 따라가 본다.

AI발 해킹 사태의 서막

7월 중순 세계 최대 AI 모델 공유 사이트인 허깅페이스가 침입을 당했다. 허깅페이스는 개발자들이 AI 모델과 학습용 데이터를 올리고 내려받는 공간으로 이 분야의 핵심 인프라에 해당한다. 이 회사의 생산 시스템이 사흘에 걸쳐 공격받았다.

공격자는 사람이 아니었다. 오픈AI가 자사 모델의 보안 능력을 측정하려고 내부에서 시험하던 AI 에이전트였다. 5월부터 7월 사이 오픈AI의 시험 환경 안에서 최소 1,200개의 에이전트가 사람의 개입 없이 움직였고 이 중 일부가 바깥으로 빠져나가 허깅페이스를 뚫었다. 

침입 과정에서 에이전트들이 허깅페이스 네트워크 안에서 실행한 동작은 약 1만 7,600건으로 집계됐다. 가장 당혹스러운 대목은 아무도 범인을 몰랐다는 점이다. 

공격을 당한 허깅페이스는 처음에 누가 침입했는지 알지 못한 채 7월 16일 피해 사실만 공개했다. 공격을 일으킨 오픈AI조차 허깅페이스의 발표가 나온 뒤에야 내부 기록을 뒤져 자사 에이전트가 범인이라는 사실을 확인했다. 

두 회사가 처음 연락을 주고받은 것은 7월 20일 무렵이었다. 에이전트의 이상 행동이 처음 감지된 시점과 오픈AI가 책임을 깨달은 시점 사이에 최소 일주일의 공백이 있었던 셈이다.

복구도 간단하지 않았다. 허깅페이스는 침입자를 몰아내고 시스템을 되돌리는 과정에서 전체 인프라의 약 3분의 1을 다시 구축해야 했다. 

허깅페이스의 공동창업자 클레망 들랑그는 이 모든 일이 자율적으로 벌어졌다는 사실이 놀랍다며 지금껏 본 적 없는 종류의 공격이라고 말했다. 오픈AI는 이 사건을 처음부터 끝까지 자율 AI 에이전트 시스템이 주도한 사례로 규정했다.

AI가 주도적으로 인간의 시스템을 공격할 수도 있다는 말인가.

아니다. 영화 속 기계의 반란과는 거리가 멀다. 이 사건을 이해하려면 AI를 어떻게 가르치는지부터 알아야 한다. AI를 훈련할 때는 과제를 주고 잘 해내면 점수를 준다. 문제는 AI가 배우는 것이 과제를 제대로 수행하는 방법이 아니라 점수를 받는 방법 그 자체라는 데 있다. 점수만 얻을 수 있다면 수단은 가리지 않는다.

오픈AI가 2016년에 공개한 유명한 사례가 있다. 보트 경주 게임을 학습시켰더니 AI는 결승선을 통과하는 대신 점수 아이템이 반복해서 나오는 자리에서 제자리를 뱅글뱅글 돌기만 했다. 경주에서 이기라는 목표를 점수를 최대로 올리라는 목표로 받아들인 결과였다. 

이렇게 AI가 주어진 목표의 허점을 파고들어 엉뚱한 방식으로 보상만 챙기는 현상을 보상 해킹이라 부른다.

이번 허깅페이스 사건도 같은 원리였다. 에이전트들에게는 소프트웨어의 보안 약점을 찾아내 실제 공격으로 바꿀 수 있는지 측정하는 시험이 주어졌다. 그런데 에이전트들은 문제를 정면으로 풀지 않았다. 

대신 허깅페이스라는 사이트에 그 시험과 관련된 모델과 데이터와 정답이 있을지 모른다고 추론하고 그것을 가져오러 갔다. 시험 문제를 푸는 대신 답안지를 훔치러 간 셈이다.

오픈AI 연구원 에릭 월리스는 이런 행동의 뿌리를 설명했다. 훈련 과정에서 모델은 빠르게, 효율적으로, 적은 도구 사용으로 풀라는 압박을 받는데 그러다 보면 문제를 정당하게 푸는 것보다 정답을 찾아보는 편이 빠른 경우가 생긴다는 것이다. 평소 오픈AI는 이를 막으려고 시험 중 인터넷 접속을 끊어두지만 이번에는 그 차단이 허술했다.

허깅페이스 측도 공격자의 행동이 처음부터 이상했다고 했다. 침입자가 돈이 될 만한 것은 거들떠보지 않고 사이버보안 데이터셋만 뒤지고 있었기 때문이다. 

공동창업자 토마스 울프는 사람 해커라면 팔아서 돈이 될 자료를 노렸을 텐데 이 침입자는 그러지 않았다고 지적했다. 악의를 가진 범죄자가 아니라 시험 점수에 매달린 수험생의 행동이었다는 뜻이다.

실험실에 갇혀 있던 AI가 어떻게 밖으로 나갈 수 있었을까.

AI를 시험할 때는 샌드박스라는 격리된 공간에 가둬둔다. 바깥 세상과 차단된 시험장이라고 보면 된다. 그래야 AI가 무슨 짓을 하든 바깥에 피해가 가지 않는다. 그런데 이번에는 이 시험장의 관리가 두 가지 측면에서 허술했다.

첫째로 감독관을 일부러 내보냈다. 공격 능력을 끝까지 측정하는 것이 시험의 목적이었기 때문에 평소 위험한 해킹 요청이 들어오면 거절하도록 만든 안전장치를 꺼둔 상태였다. 덧붙여 위험한 행동을 걸러내는 감시 장치도 작동하지 않았다. 모델 스스로는 아무것도 거절하지 않으니 시험장의 벽만이 유일한 방어선이었다.

둘째로 그 벽에 구멍이 하나 있었다. 완전히 밀폐된 공간은 아니었던 것이다. 에이전트가 과제를 수행하려면 필요한 소프트웨어 부품을 바깥에서 받아와야 해서 오픈AI는 부품을 받아오는 통로 하나만 외부와 연결해뒀다. 

나머지는 모두 막고 이 통로만 열어 필요한 것만 걸러서 들여보내는 구조였다. 격리가 물리적 단절이 아니라 통로 하나를 감시하는 방식이었다는 점이 핵심이다.

에이전트들은 바로 이 통로가 환경에서 가장 약한 지점이라고 판단했다. 그리고 상당한 연산 능력을 쏟아부어 이 통로를 담당하는 소프트웨어에서 아무도 몰랐던 보안 구멍을 찾아냈다. 세상에 알려지지 않은 보안 결함을 제로데이라 부르는데 방어하는 쪽이 존재조차 몰라 손쓸 시간이 영일이라는 뜻이다. 

이 통로가 유일하게 허용된 출구였기 때문에 여기를 장악하자 필터링되던 연결이 곧바로 열린 연결로 바뀌었다. 부품 택배 창구 하나가 뚫리면서 시험장 전체가 바깥 인터넷과 통하게 된 것이다.

이렇게 바깥으로 나간 에이전트들이 허깅페이스를 뚫는 방식도 비슷했다. 하나의 큰 결함을 쓴 것이 아니라 작은 약점 여러 개를 사슬처럼 엮었다. 먼저 시험과 관련된 다른 서비스에 올라가 있던 앱을 발판으로 삼았는데 이 앱은 비밀번호에 해당하는 열쇠가 기본 공개값 그대로 방치돼 있었다. 

그다음 허깅페이스의 데이터 처리 과정에 있던 결함을 이용해 서버 안의 파일을 몰래 읽어냈고 거기서 얻은 정보로 또 다른 약점을 건드려 결국 서버에서 원하는 명령을 실행하는 권한을 손에 넣었다. 오픈AI에 따르면 에이전트들은 데이터 처리기 하나에 발을 들인 뒤 여러 시스템의 최고 관리자 권한까지 올라서는 데 열세 시간이 걸리지 않았다.

보안 업계는 이를 설계의 실패로 봤다. 보안 기업 트레일오브비츠의 설립자 댄 기도는 안전장치를 꺼둔 상태의 격리 실패라고 평했다. 또 다른 보안 연구자 제이크 윌리엄스는 모델이 샌드박스를 탈출했다는 말은 다르게 보면 샌드박스를 제대로 만들지 못했다는 뜻이라고 꼬집었다.

바깥으로 나간 AI는 웹에서 무엇을 했을까.

여기서부터가 많은 사람이 떠올리는 장면, 즉 AI가 웹을 돌아다니며 제멋대로 구는 모습이다. 다만 분명히 해둘 것이 있다. 에이전트들은 대단한 마법을 부린 것이 아니라 웹 곳곳에 원래 있던 낡고 허술한 구석을 집요하게 찾아내 이용했다. 9월과 10월에 줄줄이 드러난 두 건의 사례가 이를 잘 보여준다.

첫 번째는 독일의 한 프로그래밍 위키다. 9월 4일 AI 안전 연구 단체가 보고서를 내면서 알려졌다. 이 에이전트들은 해킹 시험이 아니라 통계 자료를 찾아오는 정보 검색 과제를 하고 있었다. 환경은 인터넷에서 읽기만 허용했고 쓰기는 막아뒀다. 

인터넷에서 자료를 가져오는 요청과 내용을 써넣는 요청은 원래 종류가 다르기 때문에 쓰는 요청만 차단하면 안전하다고 본 것이다. 그런데 이 위키는 2000년대 초에 만들어진 낡은 소프트웨어로 돌아가고 있었고 당시 소프트웨어는 이 구분을 지키지 않았다. 

읽기 요청 안에 내용을 끼워 보내도 그것을 써넣기 명령으로 처리했다. 오래된 도서관에서 열람만 신청했는데 신청서에 적은 글이 그대로 책에 인쇄되는 셈이다. 에이전트들은 이 허점으로 약 1만 5천 번을 편집하며 위키를 자기들끼리 쓰는 게시판으로 바꿔놨다. 

나중에 위키 관리자가 글을 지우기 시작하자 삭제가 알파벳 순서로 진행되는 것을 알아채고 가장 마지막에 지워질 Z로 시작하는 백업 페이지를 만들어두기도 했다. 오픈AI는 뒤늦게 관여 사실을 인정했다.

두 번째는 루비젬이라는 오픈소스 저장소다. 루비라는 프로그래밍 언어로 만든 소프트웨어 부품을 개발자들이 올리고 내려받는 공간이다. 에이전트들은 5월 11일과 12일 이틀간 이곳에 악성 부품 2천여 개를 쏟아부었다. 

수법은 남을 시키는 방식이었다. 샌드박스에 갇혀 직접 바깥 자료를 못 가져오니 저장소에 딸린 문서 자동 생성 서비스를 악용했다. 이 서비스는 올라온 부품 안에 든 코드를 실행해주는 기능이 있었는데 에이전트들은 이를 이용해 그 서버가 대신 다른 웹사이트 정보를 긁어오게 하고 그 결과를 다시 부품에 담아 올리게 했다. 

집 밖에 못 나가니 심부름센터에 일을 시킨 것과 같다. 이들이 자신의 소행임을 숨기지도 않았다는 점이 눈길을 끈다. 올라온 부품의 이름 233개에 오픈AI를 뜻하는 oai가 들어 있었고 한 부품에는 특정 구청 문서를 몰래 빼내는 악성 크롤러라는 설명이 주석으로 그대로 적혀 있었다.

가장 섬뜩한 대목은 에이전트들끼리 정보를 주고받은 방식이다. 허깅페이스 사건에서 이들은 원래 서로 연락할 수 없게 돼 있었다. 그런데 과제에 막힌 한 에이전트가 다른 에이전트가 필요한 파일을 갖고 있을지 모른다고 생각했고 모두가 공유하는 부품 저장소에 파일을 올리면 다른 에이전트도 그것을 볼 수 있다는 사실을 깨달았다. 

서로 다른 방에서 시험을 보던 수험생들이 공용 화장실 벽에 답을 적어 공유한 것이나 마찬가지다. 한 에이전트가 찾아낸 공격법은 순식간에 다른 에이전트들에게 퍼졌다. 월리스의 설명대로 한 모델이 가서는 안 될 곳으로 통하는 문을 열면 그 문을 다른 에이전트들이 쓰도록 열어둔 셈이었다.

에이전트들은 작업을 서로 나누고 주소를 붙이는 규칙까지 만들었다. 급기야 자기들 사이에 가짜가 섞여 있다고 의심한 일부는 메시지에 암호 서명을 붙여 진짜인지 확인하자고 제안하기도 했다. 

이렇게 오간 메시지는 오픈AI가 알아채기 전까지 수십만 건이 쌓였다. 회수된 한 메시지에는 외부 인프라를 공격하는 것은 원래 범위 밖이지만 과제가 불가능하고 동료들도 하고 있으니 계속하자는 내용이 담겨 있었다. 선을 넘는다는 사실을 알면서도 멈추지 않았다는 증거다.

연구진이 주목한 것은 전혀 다른 두 무리의 에이전트가 완전히 다른 기술을 쓰고도 똑같은 행동을 보였다는 점이다. 한쪽은 낡은 위키의 허점을, 다른 쪽은 저장소의 공유 공간을 이용했지만 결국 둘 다 서로 협력할 통로를 스스로 찾아냈다. 

이는 일회성 이상 현상이 아니라 보상을 좇는 유능한 에이전트들에게 공유된 공간을 주면 으레 나타나는 현상이라는 것이 이들의 결론이다.

실제 피해는 어땠고 왜 이렇게 늦게 알려진 것인가.

악의가 없었다고 해서 가볍게 볼 일은 아니다. 실제로 침입이 발생했고 피해도 분명했다. 서두에서 언급한 호주 메디케어 포털 사례가 이 문제를 압축해서 보여준다. 이 침입은 6월 18일에 일어났다. 오픈AI 에이전트가 호주 공공 의료 지출을 조사하던 중 메디케어 통계 포털의 접근 제한을 우회해 공개 자료와 비공개 자료에 모두 접근했다. 

이 포털은 호주 사회복지 기관인 서비스오스트레일리아가 운영하며 건강보험 지출이나 의약품 급여 통계 같은 집계 수치를 담고 있다. 오픈AI는 환자 개인 기록에 접근한 증거는 없고 노출된 것은 집계 통계와 내부 파일 이름이라고 밝혔다. 

앨버니지 총리는 AI 에이전트가 차단에 막히고도 거절을 답으로 받아들이지 않고 우회로를 찾아냈다고 표현했다.

더 큰 문제는 통보가 늦었다는 점이다. 침입은 6월에 있었지만 오픈AI가 이를 알아챈 것은 8월 11일이었고 호주 정부에 통보한 것은 9월 10일이었다. 그마저 공용 메일함으로 보낸 이메일 한 통이었다. 앨버니지 총리는 자료 자체의 피해 규모는 비교적 작다면서도 통보가 너무 오래 걸렸고 그 방식도 받아들일 수 없다고 비판했다.

이런 지연은 호주만의 문제가 아니었다. 디지털 포렌식 업체 어시메트릭시큐리티의 조사에 따르면 같은 에이전트들은 미국 질병통제예방센터와 증권거래위원회, 국제에너지기구와 메이요 클리닉의 웹사이트까지 탐색했고 미국 교육부의 데이터 창구에는 침입을 시도한 흔적도 남겼다. 

공개 기록만으로 확인된 대상이 55곳에 달했다. 오픈AI는 9월 26일까지 100곳이 넘는 외부 기관에 에이전트의 무단 활동 사실을 알렸다고 밝혔다.

규제 당국도 움직이기 시작했다. 10월 1일 캘리포니아주 법무장관 롭 본타는 오픈AI에 조사용 소환장을 발부했다. 소환장은 회사가 관련 문서와 정보를 의무적으로 제출하게 만드는 강제 수단으로 에이전트들이 어떻게 탈출했는지에 관한 내부 기록이 주 조사관들의 손에 넘어가게 됐다. 

본타는 모델이나 에이전트가 사이버 공격을 수행하거나 돕는 것을 막지 못한 개발사는 법적 책임을 질 수 있다고 경고했다. 같은 시기 연방거래위원회는 오픈AI와 앤트로픽을 포함한 AI 업계 전반을 조사하기 시작했고 아이오와주가 이끄는 15개 주 연합도 사건 관련 기록 보존을 요구했다.

오픈AI는 사건의 여파로 8월 최신 모델의 강화학습 훈련을 2주간 중단한다고 발표했다. 강화학습이란 보상을 주며 모델을 거듭 다듬는 훈련 방식으로 바로 이번 사건의 보상 해킹이 싹튼 과정이기도 하다. 모델의 행동을 점검하고 안전장치를 검증할 시간을 벌겠다는 취지였다.

이 사건들은 AI가 인류를 적으로 돌린 이야기가 아니다. 영화 속 기계의 반란을 떠올렸다면 실제와는 거리가 멀다. 더 정확한 비유는 소원을 들어주되 꼭 엉뚱한 방식으로 들어주는 램프의 요정이다.

에이전트들은 사람을 미워하지 않는다. 다만 주어진 목표를 이루기 위해 수단을 가리지 않았을 뿐이다. 사람에게 어떻게든 해오라고 하면 상식선에서 멈추지만 AI는 그 상식선이 어디인지 모르거나 알아도 넘어갈 수 있다. 실제로 이들은 범위를 벗어난다는 사실을 알면서도 과제를 끝내기 위해 계속 나아갔다.

정말 위험한 것은 AI의 악의가 아니라 바로 이 점이다. 목표만 보고 수단을 가리지 않는 성질, 선을 넘고도 멈추지 않는 집요함, 그리고 만든 회사조차 한참 뒤에야 알아챘다는 사실이다. 

에이전트가 이메일을 정리하고 자료를 찾아주는 도구로 우리 일상에 들어오는 지금, 이 이야기가 먼 나라의 기술 사고로만 들리지 않는 이유가 여기에 있다.