AI가 써준 논문, AI가 잡아낸다...ICLR의 ‘가짜 인용’ 충격

세계 최고 수준 인공지능 학회 가운데 하나로 꼽히는 ICLR이 예상치 못한 난제에 부딪혔다. GPTZero 팀이 ICLR 2026 제출 논문 일부를 검증한 결과 학술 논문의 기본이라 할 수 있는 참고문헌에서 가짜 인용이 대거 발견된 것이다. 

이번 분석은 GPTZero를 운영하는 Paul Esau와 Alex Cui 등의 개발진이 자사 블로그에 공개한 내용이다. 이들은 지금의 논문 심사 체계가 AI 도구와 논문 양산 압력을 감당하지 못하고 있다고 지적한다.

GPTZero는 올해 초부터 문서 안에 들어 있는 인용을 자동으로 검증하는 ‘Hallucination Check’라는 도구를 운영해 왔다. 이 도구로 ICLR 2026에 제출된 논문 중 300편을 골라 테스트한 결과 90편에서 온라인 어디에서도 찾을 수 없는 인용이 표시됐다. 

이후 사람이 한 번 더 확인해 보니 실제로 가짜 인용을 포함한 논문이 50편이었다. 이 논문들은 이미 3~5명의 전문가 리뷰를 거친 상태였고 그 가운데 상당수는 평균 8점 안팎의 높은 점수를 받은 것으로 드러났다. 말 그대로 학회가 믿고 맡긴 심사망을 AI가 뚫어버린 셈이다.

문제의 핵심은 ‘할루시네이션 인용’이다. 여기서 말하는 할루시네이션은 언어 모델이 그럴듯한 내용을 지어내는 현상을 뜻한다. 이번 사례에서는 실제 존재하는 논문 제목이나 저자 이름을 섞어 새로운 참고문헌을 만들어 내는 방식으로 나타났다. 

제목은 진짜인데 저자가 엉뚱하게 바뀌어 있거나 저널 이름과 발행 연도는 맞는데 논문 제목이 전혀 관련이 없는 경우가 대표적이다. 표면적으로는 전형적인 학술 인용처럼 보이지만 추적해 보면 실재하지 않는 출처인 셈이다. 

ICLR 윤리 규정상 이런 인용이 한 개만 있어도 논문 전체가 규정 위반이 될 수 있다.

이 현상은 연구자들이 AI 도구를 활용해 논문을 쓰는 방식과 맞닿아 있다. 최근 많은 연구자들은 초고를 만들 때부터 AI를 적극 사용한다. 논문 구조를 잡고 서론 문장을 매끄럽게 다듬는 데 쓰기도 하고 실험 설명을 좀 더 정리된 문장으로 바꾸는 작업에 동원하기도 한다. 

특히 시간이 많이 드는 ‘관련 연구 정리’ 부분에서 AI에 “이 주제와 관련된 대표 논문을 인용 형식으로 나열해 달라”는 식으로 요청하는 경우가 많다. 이 과정에서 모델이 외운 조각들을 섞어 가짜 참고문헌을 만들어 내면 사용자가 일일이 확인하지 않는 한 그대로 본문에 들어간다. 

바쁜 연구 환경에서 “어차피 유명한 논문일 것”이라는 안일함이 겹치면 오류는 더 쉽게 통과한다.

Hallucination Check는 이런 인용을 잡아내기 위해 논문에 등장하는 모든 참고문헌을 한 줄씩 떼어내 검색 가능한 온라인 데이터와 대조한다. DOI와 같은 고유 식별 번호가 있다면 우선적으로 확인하고 저자 이름과 논문 제목 조합으로 학술 검색 엔진을 다시 조회한다. 

여기서 아무리 찾아도 매칭되는 결과를 찾지 못하면 ‘주의가 필요한 인용’으로 표시한다. 또 제목과 저자가 실제 존재하는 논문과 부분적으로만 일치하고 나머지 정보가 어색하게 섞여 있을 경우에도 의심 대상으로 분류한다.

논문 작성 단계에서 할루시네이션을 줄이는 방법도 있다. 가장 기본은 AI가 만들어 준 참고문헌을 그대로 믿지 않는 것이다. 인용이 생성되면 무조건 학술 검색 사이트에서 한 번씩 직접 검색해 보는 습관을 들이는 편이 안전하다. 

또 “논문을 찾아 인용을 만들어 달라”는 방식 대신 “내가 준 이 DOI를 읽고 설명을 정리해 달라”는 방식으로 쓰면 인용 정보는 사람이 직접 관리하고 AI는 요약만 맡는 구조가 된다. 연구실 차원에서 관련 연구 목록을 미리 정리해 두고 이 리스트 안에서만 인용을 하도록 하는 일처리 방식을 만들면 위험을 더 줄일 수 있다.

이번 ICLR 사례가 특히 상징적인 이유는 여기서 발견된 문제가 특정 저널이나 변방 학회에 국한된 일이 아니라는 점이다. GPTZero의 분석에 따르면 2016년부터 2024년까지 전 세계 과학 논문 발행 건수는 크게 늘어났고 이에 비례해 철회와 조작 사건도 뒤따랐다. 

연구자는 승진과 평가를 위해 더 많은 논문이 필요하고 AI는 글쓰기 속도를 끌어올린다. 반면 심사에 투입할 수 있는 전문가 인력과 시간은 제한적이다. 그 결과 최고 권위 학회조차 3~5명이 검토한 논문에서 가짜 인용이 버젓이 통과하는 상황이 벌어지고 있다.

GPTZero는 이번에 공개한 50건의 사례가 시작일 뿐이라고 본다. ICLR에 제출된 전체 논문 수가 2만 건이 넘는 만큼 샘플링 결과를 그대로 확대하면 더 많은 할루시네이션 논문이 숨어 있을 가능성이 높다. 

다만 이 도구의 목적은 연구자를 색출하는 것이 아니라 심사와 편집 과정에서 사람의 부담을 덜어주고 투명성을 높이려는 데 있다고 강조한다. 인용 검증과 AI 텍스트 감지를 함께 돌려보는 작업을 표준 절차로 만들면 심사 속도를 떨어뜨리지 않으면서도 최소한의 품질 장치는 지킬 수 있다는 설명이다.

AI가 논문을 쓰는 시대에 논문을 감시하는 것도 AI가 맡게 됐다. 논문 생산 속도와 심사 역량의 간극은 앞으로 더 벌어질 가능성이 크다. 

이번 ICLR 사례는 “사람이 알아서 거르겠지”라는 믿음만으로는 더 이상 학술 생태계를 유지하기 어렵다는 신호다. 인용 검증 도구 같은 기술을 심사 시스템에 정식으로 포함할지, AI를 활용한 논문 작성 기준을 어디까지 허용할지를 두고 학계 안팎의 논의가 불가피해 보인다. 

GPTZero 개발진은 이번 결과가 그 논의를 서두르게 만드는 계기가 되기를 바란다고 밝혔다.