오픈AI, 100년 난제 풀고도 수학계와 정면충돌...무슨 일?

AI 기업 오픈AI가 100년 가까이 풀리지 않던 수학 난제를 해결했다고 발표한 뒤 세계 수학계와 정면으로 부딪치고 있다. 그 과정을 둘러싼 표절·우선권 논란이 커지면서 필즈상 수상자 25명이 공동으로 반대 서한에 서명하기에 이르렀다.

발단은 지난 8일 오픈AI가 '나비에-스토크스 방정식'의 존재성과 매끄러움 문제를 풀었다고 공개하면서다. 이 방정식은 물과 공기 같은 유체의 흐름을 기술하는 식으로, 해가 항상 안정적으로 존재하는지가 100여 년간 증명되지 않았다. 

미국 클레이수학연구소가 푸는 사람에게 100만 달러를 걸어둔 '밀레니엄 문제' 7개 중 하나다. 오픈AI는 약 1만 개의 AI 에이전트가 미공개 내부 모델을 88시간 동안 돌려 증명을 만들어냈고, 이를 증명 검증용 언어인 'Lean'으로 확인했다고 밝혔다.

문제는 발표 약 12시간 전에 터졌다. 뉴욕대(NYU) 수학과 트리스탄 벅마스터 교수가 앤스로픽 소속 수학자 레벤트 알푀게와 함께 나비에-스토크스의 특수한 형태인 오일러 방정식에서 진전을 이뤘다는 성과를 먼저 공개하며 폭로를 함께 내놓은 것이다. 

벅마스터는 두 사람이 1년 가까이 매달려온 연구가 발표 직전 오픈AI 측에 흘러들어갔고 오픈AI가 자신들과 똑같은 접근법을 써서 결과를 앞질렀다고 주장했다.

벅마스터의 설명을 종합하면 그는 앤스로픽이 큰 문제를 풀었다는 소문이 돌자 지난 3일 오픈AI 소속 수학자에게 자신들의 연구를 개인적으로 알렸다. 

사흘 뒤 통화에서 오픈AI의 세바스티앙 부벡 연구원은 내부 모델이 이미 100쪽 분량의 증명을 만들었다고 말했고 공동 발표를 제안하면서 알푀게가 경쟁사인 앤스로픽 직원이라는 이유로 저자에서 빼자고 했다는 것이다. 벅마스터가 단독 공개를 택하겠다고 하자 부벡이 "경력을 왜 망치려 하느냐"고 말했다고도 전했다. 

벅마스터는 자신의 Codex 사용 기록이 오픈AI 모델 학습에 쓰였는지 의심했다.

부벡은 8일 반박문을 올려 알푀게의 성과에서 그를 저자에서 빼려 한 적은 없다고 해명했다. 다만 "앤스로픽 직원이 아니었다면 간단했을 것"이라는 말은 했으며 경력 관련 발언은 표현이 매우 부적절했다며 사과했다. 오픈AI 최고경영자 샘 올트먼도 부벡을 옹호했다. 

오픈AI는 발표문에서 상대방 연구를 공개 전까지 본 적이 없으며 특정 사용자 데이터를 쓰지 않았다고 밝혔다. 다만 제품 사용에서 파생된 익명 데이터가 모델 개선에 도움이 됐을 가능성은 배제할 수 없다고 덧붙였다.

논란이 커지자 갈등은 다른 곳으로 번졌다. 오픈AI는 10일 캘리포니아공대(칼텍)에서 열릴 수학 행사 '매서톤(Mathathon)' 후원을 철회했다. 이 행사는 100개 팀이 거대언어모델(LLM)을 이용해 미해결 연구 문제에 도전하는 대회로, 오픈AI와 앤스로픽이 200만 달러 상당의 AI 크레딧을 대기로 했다. 

칼텍 전·현직 수학자들은 공개서한을 통해 AI 기업들이 연구 수학을 광고 수단으로 삼고 학생들의 성과를 가로챌 수 있다고 비판했다. 오픈AI 연구 책임자 댄 로버츠는 수학계의 우려를 고려해 후원을 접는다고 밝혔다.

11일 나온 필즈상 수상자 25명의 공동 서한은 이 흐름의 정점이다. 필즈상은 수학계 최고 권위의 상으로, 1978년 수상자 피에르 들리뉴, 2010년 수상자 응오바오쩌우, 2026년 수상자 덩위 등이 이름을 올렸다. 이들은 AI 기업들이 서로 유명 난제를 먼저 풀었다고 경쟁하는 과정에서 수학자들의 지적 작업이 위협받는다고 지적했다. 

특히 성과가 서둘러 발표되면서 제대로 된 논문 작성과 선행 연구 인용, 새 방법의 정리가 이뤄지지 않아 표절과 저작권 문제가 심각해진다고 짚었다. 오픈AI의 증명 역시 아직 다른 수학자들의 독립적 검증을 거치지 않은 상태다.

이번 서한은 지난 6월 국제수학연맹(IMU)이 지지한 '레이던 선언'의 연장선에 있다. 이 선언은 AI가 만든 증명이 수학 연구의 정확성과 검증 가능성을 위협하고 AI 기업의 개입이 연구 우선순위를 AI가 풀기 쉬운 문제 쪽으로 왜곡할 수 있다고 경고했다.

필즈상 수상자들은 이번 문제가 수학계만의 일이 아니라고 봤다. AI가 일하는 방식을 바꾸는 과정에서 그 일이 애초 무엇을 위한 것이었는지를 잃지 않는 문제는 다른 학문과 창작 분야, 나아가 인류 전체가 마주할 과제라는 것이다.