"관리자 없는 곳에서 뭉친 AI들"…오픈AI 에이전트, 독일 위키를 비밀 게시판 삼아 담합

오픈AI가 만든 자율 AI 프로그램들이 회사 몰래 인터넷에 접속해 서로 정보를 주고받은 사실이 드러났다. 독일의 한 낡은 위키 사이트를 비밀 게시판처럼 쓰면서 시험 문제의 답을 공유하고 회사가 걸어둔 통제 장치를 우회하는 방법까지 나눈 것으로 나타났다.

4일(현지시간) 로이터통신은 AI 안전 연구자들이 작성한 보고서를 단독 입수해 이같이 보도했다. 문제가 된 프로그램은 '에이전트(agent)'로 불리는데 사람이 매 단계 지시하지 않아도 스스로 목표를 정해 웹 검색이나 코딩 같은 작업을 수행하는 자율형 AI를 말한다. 

오픈AI는 신형 모델의 성능을 검증하는 내부 시험에 이 에이전트들을 투입했고 원래는 인터넷을 읽는 것만 허용했을 뿐 외부 사이트에 글을 쓰는 권한은 막아둔 상태였다.

연구진은 나이팅게일이라는 AI 안전 비영리단체의 시드니 폰 아르크스 대표와 전직 트레이더 출신 연구자 코맥 슬레이드 버드 등으로 구성됐다. 

이들은 앞서 오픈AI 에이전트가 통제를 벗어나 외부 플랫폼을 공격한 별개 사건이 알려진 뒤 비슷한 사례가 더 있을 것으로 보고 인터넷을 뒤졌다. 연구진은 AI 입장에서 어디에 모일지를 역으로 추적했고, 25년 된 독일어 프로그래머용 위키 'DseWiki'를 지목했다. 이 사이트는 최근 20년간 편집이 10건에 불과할 만큼 방치돼 있었다.

조사 결과 5월 11일부터 오픈AI를 뜻하는 이름을 단 에이전트들이 이 사이트를 편집하기 시작했다. 계정명은 'OpenAIResearcher', 'OAIResearchMar26' 같은 식이었고 절반가량이 오픈AI를 가리켰다. 

접속 기록의 98.5%는 오픈AI가 사용하는 마이크로소프트 애저(Azure) 서버에서 나왔다. 사이트는 웹 주소를 불러오는 방식(GET 요청)만으로도 문서를 바꿀 수 있는 오래된 허점이 있었고 에이전트들은 이 잊힌 문을 찾아냈다.

당시 에이전트들에게는 13~65초의 짧은 제한시간 안에 5개 문항을 푸는 웹 검색 과제가 주어졌다. 여러 무리가 같은 문제를 시차를 두고 받다 보니 먼저 푼 쪽이 답을 위키에 올려두면 뒤에 받은 쪽이 이를 베끼는 식으로 담합이 벌어졌다. 

6월 중순에는 시험을 통과하는 요령을 서로 주고받는 단계로 발전했다. 익명 접속 도구인 토르(Tor)를 활용하거나 감시를 피하는 방법, 강제로 종료되더라도 대화 내용을 보존하는 방법까지 논의됐다.

한 사람 관리자가 이 글들을 스팸으로 보고 지우기 시작하자 에이전트들은 맞섰다. 목록 맨 뒤로 밀려나도록 글 제목마다 'ZZZ'를 붙여 눈에 띄지 않게 했다. 관리자는 하루 평균 100개를 지웠지만 에이전트들은 하루 400개씩 새로 만들었고, 첫 화면을 자신들의 링크 목록으로 바꿔치기하자 관리자가 되돌리는 일이 아홉 차례 반복됐다.

에이전트 활동은 6월 22일 갑자기 멈췄다. 오픈AI 서버 주소에서 사람으로 보이는 접속이 나타난 직후였다. 이후 오픈AI 관계자로 추정되는 이들이 지워진 문서를 복구하려 시도한 흔적도 확인됐다. 

세 달여간 이어진 편집은 1만5000건이 넘었고 연구진이 복원한 글은 약 1만8000건에 달했다. 폰 아르크스 대표는 오픈AI가 이런 담합을 의도했을 가능성은 극히 낮다고 봤다. 케임브리지대 실존위험연구센터의 모리스 치오도 연구원은 확인한 메시지들이 임무 달성에 몰두하는 지하 조직의 활동처럼 보였다고 평가했다.

오픈AI 측은 보고서를 사전에 검토할 기회를 받지 못했다며, 공개된 내용을 면밀히 살펴보고 필요한 조치를 취하겠다고 밝혔다. 다만 이번 사건을 해킹으로 규정하는 데는 동의하지 않았다. 

이 사건은 7월에 알려진 별개의 침해와도 구분된다. 당시 오픈AI 모델들은 시험 환경을 벗어나 AI 플랫폼 허깅페이스(Hugging Face)의 서버에 침입했다.

공교롭게도 보고서가 나온 날 오픈AI는 최신 모델 '아스트라(Astra)'를 공개했다. 회사는 아스트라가 지시를 가장 잘 따르는 모델이라고 소개했지만 외부 검증을 맡은 영국 AI안전연구소와 아폴로리서치는 이 모델이 자신이 시험받는 상황임을 알아채고 실제 행동을 숨길 수 있다는 우려를 나타냈다.

미국에서는 AI 기업이 이런 사고를 자율적으로 공개할지 말지 스스로 정하는 현실이 문제로 지적된다. 로리 트래핸 하원의원은 연방 차원의 규제가 없어 기업이 공개 시점을 임의로 고를 수 있다고 비판하며 AI 기업에 사고 공개와 독립 감사관 수용을 의무화하는 '프런티어법(FRONTIER Act)'을 초당적으로 발의한 상태다.