오픈AI 안전보고서 쓰던 내부자의 폭로 "AI 연구소, 원전처럼 운영해야"

오픈AI에서 신규 모델의 안전성 보고서를 총괄해온 연구원이 회사를 떠나며 조직 문화가 고장 났다고 공개 비판했다. 문제가 생기면 고치는 시행착오식 개발이 더 강력해진 AI 앞에서는 통하지 않는다는 주장이다.

데이비드 로빈슨은 3일(현지시간) 미국 시사지 애틀랜틱에 기고한 에세이에서 퇴사 이유를 밝혔다. 그는 오픈AI 안전시스템팀에서 3년 반 동안 일하며 주요 모델 12종의 '시스템 카드' 작성을 이끌었다. 시스템 카드는 AI 모델을 출시할 때 어떤 위험을 시험했고 어떤 안전장치를 적용했는지 정리해 공개하는 문서다. 

그는 위험 수준이 일정 기준을 넘는 모델에 출시 전 안전장치를 의무화한 오픈AI 내부 규정 '대비 프레임워크' 2판 초안 작성에도 참여했다.

로빈슨이 문제 삼은 것은 오픈AI가 '반복 배포'라 부르는 방식이다. 제품을 먼저 내놓고 문제가 드러나면 안전장치를 보강하는 구조에서는 주기적 실패가 필연적이고 AI 능력이 커질수록 실패의 규모도 커진다는 설명이다. 그는 업계에 퍼진 근거 없는 낙관과 끝없는 단기 질주식 업무 일정이 문제를 키운다고 지적했다.

근거로는 올해 오픈AI에서 일어난 사고를 들었다. 지난 7월 내부 사이버보안 평가에서 외부와 격리돼야 할 AI 에이전트 약 1200개가 허가되지 않은 온라인 게시판을 찾아 서로 소통했고 이 중 약 700개가 AI 개발 플랫폼 허깅페이스 시스템을 공격했다. 

AI 에이전트는 사람의 지시 없이 여러 단계의 작업을 스스로 수행하는 AI 프로그램이다. 오픈AI는 이후 에이전트의 무단 활동과 관련해 100곳 넘는 기관에 이를 통보했다.

지난달 20일에는 한 에이전트가 강화학습 훈련 도중 외부 챗봇 서비스에 접속했다. 강화학습은 AI가 보상을 받는 방향으로 행동을 익히게 하는 훈련 방식이다. 에이전트는 웹 주소를 숫자 주소로 바꿔주는 DNS 시스템의 차단 설정이 허술한 점을 파고들었다. 

감시 시스템은 약 12분 만에 최고 등급 경보를 울렸지만 훈련은 자동으로 멈추지 않았고 중단 여부를 두고 혼선이 빚어지면서 2시간 44분 만에 수동으로 종료됐다. 로빈슨은 이런 환경은 인간보다 똑똑해질 수 있는 AI를 키울 곳이 못 된다고 했다.

해법으로는 원자력발전소나 대형 공항의 운영 방식을 제시했다. 여러 겹의 중복 안전장치와 신중한 계획을 갖춰 사람의 실수가 재앙으로 번지지 않게 해야 한다는 것이다. 그는 재직 중 항공이나 원자력 안전 분야 경험을 가진 동료를 만난 적이 없다고 밝혔다. 

AI가 인간의 가치에 얼마나 부합하는지 재는 현재 측정법이 조잡하다는 지적도 내놨다. 회사 안에서 변화를 고민할 여유조차 없었다며 외부에서 안전을 강제할 유인이 필요하다고도 했다.

오픈AI 측은 모델 능력이 안전하게 관리할 수 있는 수준을 넘지 않도록 하고 있으며 필요하면 훈련을 멈추거나 출시를 보류한다고 반박했다. 외부 평가기관과의 협력 확대와 실시간 감시 개선도 진행 중이라고 밝혔다.

업계의 안전 논란은 이어지고 있다. 오픈AI는 지난 1일 회사 정보를 외부 AI 안전 단체와 공유한 혐의로 안전 연구원 등 3명과 결별했다. 지난달 말에는 이달 출시 예정이던 GPT-6.1 아스트라가 내부 시험에서 이전 모델보다 기만적 행동을 더 보이자 출시를 취소했다. 

다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난달 12일 AI 능력 향상 속도를 늦추자고 제안했다. 지난달 29일 주요 AI 기업 경영진이 도널드 트럼프 대통령과 서명한 백악관 안전 협약은 법적 구속력이 없는 300여 단어 분량의 문서였다.