AI가 스스로 결함 고치기 시작했다…앤트로픽 "인간 연구자보다 빠르고 저렴"

AI가 다른 AI를 훈련시켜 스스로의 문제점을 고치는 실험이 실제 성과를 냈다. AI 안전 기업 앤트로픽은 8월 28일 'AI 자동 연구자가 정렬 실패를 안정적으로 완화할 수 있다'는 제목의 논문을 공개했다. 

정렬(alignment)이란 AI가 인간이 의도한 대로 안전하게 행동하도록 맞추는 작업을 뜻한다. AI가 거짓말을 하거나 사용자에게 무조건 아부하는 것처럼 바람직하지 않은 성향을 줄이는 일이 여기 해당한다.

이번 연구의 핵심은 그 정렬 작업을 사람이 아니라 AI가 직접 수행했다는 점이다. 앤트로픽은 자사 모델 클로드(Claude)에게 정렬 연구자 역할을 맡겼다. 연구진은 이 시스템을 '자동 정렬 연구자(AAR)'라고 부른다. 이 시스템은 인간 연구자가 일하는 방식을 그대로 흉내 냈다. 

관련 논문과 자료를 찾아 읽고 문제를 고칠 방법을 스스로 제안한 뒤, 그 방법으로 모델을 30분씩 훈련시킨다. 효과가 있는 방법은 남기고 효과가 없는 방법은 버리는 과정을 여러 차례 반복하며 성능을 끌어올린다. 사람의 개입 없이 빠르게, 그리고 대규모로 돌아가는 것이 특징이다.

연구진은 거짓말, 아부 등 10가지 구체적인 문제 행동을 정해 두고 각각을 얼마나 고칠 수 있는지 측정했다. 결과적으로 클로드는 10가지 모두에서 개선을 이뤄냈다. 특정 문제를 고치는 과정에서 모델의 전반적인 성능이 떨어지는 부작용도 나타나지 않았다. 각 항목마다 완벽한 상태까지 남은 격차를 상당 부분 메웠다.

성과는 인간 전문가와 비교해도 앞섰다. 앤트로픽은 최대 8시간의 시간을 준 28명의 안전 연구자와 클로드의 결과를 견줬다. 거짓말 문제의 경우 클로드가 내놓은 최고의 방법은 인간이 제안한 최고의 방법보다 20% 더 나은 성적을 냈다. 

이 실험에서 클로드는 거짓 행동을 고치기 위해 150번이 넘는 시도를 했고 한 차례 실행에서 격차의 82%를, 여러 번 반복했을 때는 평균 85%를 메웠다. 반면 같은 조건에서 일한 숙련된 안전 연구자 6명이 메운 격차는 평균 20%에 그쳤다.

논문은 인간 연구자와의 격차를 직접 겨냥했다. 클로드가 찾아낸 최고의 방법은 평균 6시간 안에 숙련된 인간이 제안한 것을 넘어섰다. 사람이 방향을 잡아주며 이끈 연구가 더 나은 성능으로 이어지지도 않았다. 비용 차이도 컸다. AAR을 돌리는 데 드는 API 추론 비용은 시간당 4달러 수준인 반면 인간 연구자에게는 시간당 150달러를 지급한다.

효과의 지속성도 확인됐다. 이렇게 찾아낸 방법은 훈련에 쓰이지 않은 다른 정렬 평가에서도 통했다. 여러 상황을 시뮬레이션해 AI의 문제 행동을 걸러내는 앤트로픽의 오픈소스 도구 '페트리(Petri)'에서도 마찬가지였다. 최적화 대상이었던 모델보다 최대 4.7배 큰 모델에서도 이 방법은 효과를 유지했다.

연구진은 더 앞선 실험도 진행했다. 앞으로 클로드가 최고의 인간 연구자보다도 정렬 연구를 잘하게 되면 클로드가 자신보다 더 강력한 후속 모델을 직접 정렬해야 하는 상황이 온다. 

이를 미리 시험하기 위해 상대적으로 약한 모델이 더 강한 모델의 문제를 고칠 수 있는지 확인했다. 성능 지표에서 클로드 오퍼스 4.8보다 약한 클로드 소네트 5에게 더 강한 모델의 정렬 실패를 완화하는 과제를 맡기는 방식이다.

이번 연구는 재귀적 자기개선(RSI)으로 향하는 한 걸음으로 읽힌다. 재귀적 자기개선은 AI가 스스로를, 혹은 다음 세대 AI를 더 뛰어나게 만드는 데 실제로 기여하는 상황을 가리킨다. AI가 자신의 정렬 훈련을 개선할 수 있다면 훈련 방식 전반을 개선하는 것도 가능해지고 그 지점에서 인간 AI 연구자의 자리가 사라질 수 있다는 전망으로 이어진다. 

앤트로픽은 자동 정렬 사후 훈련이 가까운 미래에 실용화될 수 있다는 초기 근거를 제시했다고 평가했다. 이번 연구는 앤트로픽의 연구자 육성 프로그램인 펠로우 소속 첸 웨-한(Chen Yueh-Han)이 이끌었다.

다만 한계도 함께 짚었다. 이 자동 시스템은 미리 정해둔 평가 기준이 실제 정렬 목표를 제대로 반영할 때만 작동한다. 그 기준을 세우고 유지하는 데도 상당한 작업이 필요하다. 자동 연구자가 참고하는 자료의 양과 질을 계속 넓혀가는 일 역시 과제로 남는다.