AI의 환각을 끝장내러 왔다, 멀티모달 사실 검증 프레임워크

AI의 환각 현상(질문에 그럴듯하지만 잘못된 답을 내놓는 현상)은 생성형 AI의 등장 이후 3년 내내 지속된 고질적인 문제점이다. 질문을 받으면 막힘없이 답을 내놓지만 실제로는 존재하지 않는 연구 결과나 잘못된 수치를 단정적으로 말하는 경우가 반복되면서 AI 신뢰성에 대한 우려가 커지고 있다. 

이런 문제를 해결하기 위해 대학과 기업들이 이 환각을 줄이기 위한 기술 개발에 집중하고 있으며 그 중 핵심으로 떠오른 접근법이 다중 출처 사실 검증 기반 생성 기술(Multi-Modal Fact-Verification Framework)이다.

기존의 생성형 AI는 질문을 받으면 내부에 학습된 문장 패턴을 바탕으로 가장 자연스러운 답을 곧바로 생성했다. 문장은 매끄럽지만 그 내용이 실제 자료로 확인되는지는 따로 검증하지 않았다. 

이 때문에 존재하지 않는 연구 결과나 잘못된 연도, 사실과 다른 인용이 섞여 나오는 일이 잦았다. 다중 출처 사실 검증 기술은 이 흐름을 바꾼다. AI가 답변을 만들기 전에 문장을 아주 작은 사실 단위로 나누고 각각이 실제 자료로 확인되는지를 먼저 확인하도록 설계됐다.

이 기술에서 말하는 사실 단위란 “어떤 기업이 몇 년에 다른 회사를 인수했다”처럼 참과 거짓을 판별할 수 있는 문장 조각을 뜻한다. 

AI는 이 문장을 바로 사용자에게 보여주지 않고 외부 정보 출처로 보내 사실 여부를 확인한다. 여기에는 공식 통계, 기업 공시, 학술 논문, 신뢰도가 검증된 데이터베이스가 사용된다. 하나의 출처에서 확인되는 경우는 통과로 인정하지 않는다. 서로 다른 여러 출처에서 같은 내용이 확인될 때만 해당 문장이 최종 답변에 포함된다.

학계에서는 이 방식이 빠르게 확산되고 있다. 미국의 뉴욕대학교 연구진은 AI 환각을 분석한 연구에서, 학습 데이터에 포함된 소수의 오류가 모델 전체의 출력 정확도를 크게 떨어뜨릴 수 있다는 점을 실험으로 확인했다. 

이 연구는 답변 생성 과정에서 검증을 강제해야 환각을 줄일 수 있다는 방향을 제시했다.

국내 연구도 같은 흐름에 있다. 서강대학교 연구팀은 2025년 인공지능 분야 주요 국제 학술대회인 AAAI에서 다중모달 AI의 환각을 줄이는 기술을 발표했다. 텍스트와 이미지를 동시에 처리하는 과정에서 AI가 실제로 존재하지 않는 내용을 만들어내는 문제를 줄였다는 점에서 주목을 받았다. 

이런 연구는 실제 성과로 이어지고 있다. 다중 출처 사실 검증 프레임워크를 적용한 실험에서는 AI가 만들어내는 오류성 정보의 비율이 기존 대비 60% 이상 감소한 것으로 보고됐다. 

특히 의료 기록 요약, 금융 보고서 분석처럼 숫자와 사실 오류가 직접적인 피해로 이어질 수 있는 분야에서 효과가 뚜렷하게 나타났다.

산업계에서도 적용 사례가 늘고 있다. 국내 AI 기업 포티투마루는 검색 기반 생성 기술과 기계독해 기술을 결합해 AI가 실제 문서로 확인된 정보 범위 안에서만 답변을 생성하도록 하는 시스템을 개발했다. 질문을 받으면 먼저 관련 문서를 검색하고, 그 문서 안에 존재하는 정보만을 사용해 문장을 구성하는 방식이다. 

금융권과 공공기관 시범 적용 결과 사실 오류 발생 빈도가 크게 줄었다는 평가가 나오고 있다.

해외에서는 법률 분야가 가장 적극적으로 반응하고 있다. 미국의 법률 기술 기업 Clearbrief는 AI가 작성한 문장에 포함된 주장과 인용을 실제 판례와 법률 문서에 직접 연결해 보여주는 도구를 개발했다. 

사용자는 AI가 만든 문장 옆에서 바로 근거 문서를 확인할 수 있으며 근거가 없는 문장은 즉시 식별할 수 있다. AI의 출력 결과를 그대로 신뢰하지 않도록 설계한 사례다.

전문가들은 이 흐름이 AI의 방향을 바꾸고 있다고 설명한다. 무엇이든 말하는 시스템에서 확인된 정보만 말하는 도구로 성격이 이동하고 있다는 분석이다. 다중 출처 검증 방식을 적용한 AI는 답변 속도가 다소 느려질 수 있지만 확실하지 않은 내용을 단정하지 않는다는 점에서 사용자 신뢰도가 높아졌다는 평가를 받고 있다.

이제 생성형 AI 개발의 중심은 말의 유창함에서 정확성으로 옮겨가고 있다. 대학 연구실과 기업 현장에서 공통적으로 선택한 해법은 AI에게 사람과 같은 확인 절차를 거치게 하는 것이다. 

자료를 확인하고 여러 출처를 비교하고, 반드시 확인된 내용만 말하도록 만드는 이 기술의 원리 자체는 간단하지만 점차 생성형 AI를 일상과 산업 현장에서 안심하고 사용하기 위한 필수 조건으로 변하고 있다.