항상 과거를 살고 있는 AI, 해결 방법은 없는 걸까?

AI 챗봇에게 최근 뉴스를 물었다가 몇 달 전 정보를 최신인 양 답변받은 경험은 이제 흔한 일이 됐다. 사용자들은 흔히 "AI가 멍청하다"고 말하지만 실제 원인은 다르다. 이 현상은 AI가 세상을 인식하는 방식 자체에 내재된 구조적 한계에서 비롯된다.

현재 시장에 나와 있는 대부분의 AI 언어 모델은 특정 시점까지 수집한 텍스트 데이터를 압축해 학습한 통계 모델이다. 웹 문서, 책, 논문, 뉴스 기사 등 방대한 데이터를 수백억에서 수조 개의 수치 파라미터로 압축하는 방식이다. 

이 학습이 끝난 순간부터 모델 내부의 파라미터는 고정된다. 그 이후에 세상에서 일어나는 일은 모델 안에 존재하지 않는다.

업계에서는 이 경계를 '지식 컷오프'라고 부른다. 예를 들어 컷오프가 2025년 8월인 모델은 그 이후의 사건을 원칙적으로 알지 못한다. 문제는 이 경계가 생각보다 훨씬 흐릿하다는 데 있다. 어떤 사건이 발생한 직후에는 그것을 다루는 글이 인터넷에 많지 않다. 

시간이 지나면서 분석 기사, 위키백과 수정, 논문, 블로그 포스팅 등이 쌓인다. 결과적으로 컷오프 직전 수개월의 데이터는 밀도가 낮고 모델은 그 시기를 불분명하게 학습한다. 실질적인 지식 경계는 명목상의 컷오프보다 수개월 앞에 있다고 보는 것이 정확하다.

이 문제를 더 심각하게 만드는 것은 모델 스스로가 이를 인식하지 못한다는 점이다. 모델은 자신의 지식이 언제까지인지 정확히 알지 못한다. 학습 데이터 안에 수많은 시점의 텍스트가 뒤섞여 있어서 특정 날짜에 대한 명확한 감각이 파라미터에 새겨지지 않기 때문이다. 

사용자가 날짜를 알려주지 않으면 모델은 암묵적으로 학습 데이터의 무게중심에 해당하는 시점을 '현재'로 가정하는 경향을 보인다. 설령 웹 검색 도구가 연결돼 있어도 상황은 자동으로 해결되지 않는다. 도구를 쓸지 말지 결정하는 것 자체가 모델의 확률적 추론에 달려 있기 때문이다. 

'이 질문이 실시간 정보를 필요로 하는가'를 판단하는 것도 결국 모델이 다음에 올 텍스트를 예측하는 과정의 일부이며 그 판단은 틀릴 수 있다. 사용자가 명시적으로 지시하지 않으면 모델은 내부 파라미터만으로 답하고 만다.

더 근본적인 문제는 훈련 방식에 있다. 현재 대부분의 언어 모델은 인간 피드백 강화학습이라는 방식으로 훈련된다. 사람이 여러 답변 중 더 좋은 것을 선택하면 모델이 그 방향으로 강화되는 구조다. 이 과정에서 '모릅니다'라는 답보다 그럴듯한 답이 더 높은 점수를 받는 경우가 많았다. 

결과적으로 모델은 불확실한 상황에서도 뭔가를 만들어내는 방향으로 훈련돼 있다. 컷오프 이후의 사실을 조용히 지어내는 이른바 '할루시네이션'이 여기서 발생한다.

현재 업계가 채택한 주요 대응책은 RAG라고 불리는 검색 증강 생성 방식이다. 모델이 답변하기 전에 외부 검색 엔진이나 데이터베이스에서 관련 문서를 가져와 컨텍스트로 삽입하는 구조다. 

모델 자체를 다시 학습시키지 않아도 되는 것이 장점이지만 검색 품질에 전적으로 의존한다는 한계가 있다. 검색된 문서가 틀리거나 편향돼 있으면 답변도 따라서 틀린다.

모델 가중치를 주기적으로 업데이트하는 지속적 학습 방식도 이론적으로는 가능하지만 '치명적 망각'이라는 문제가 따른다. 새 데이터로 파인튜닝하면 이전에 학습한 지식이 덮어써지는 현상이다. 현재도 이 문제는 완전히 해결되지 않았다. 여기에 대규모 재학습에 드는 수개월의 시간과 천문학적인 비용 문제가 겹친다.

결국 이 문제는 현재의 LLM 아키텍처 자체가 배치 학습에 최적화돼 있다는 데서 비롯된다. 배치 학습이란 대량의 데이터를 한꺼번에 처리해 학습하고 이후에는 고정되는 방식이다. 인간의 뇌처럼 경험을 실시간으로 통합하는 구조가 아니다.

그렇다면 사용자가 취할 수 있는 현실적인 방법은 무엇인가. 핵심은 모델에게 현재 시점을 인식시키고 불확실성을 솔직하게 표현하도록 명시적으로 지시하는 것이다. 오늘 날짜와 모델의 학습 컷오프를 함께 알려주면 모델이 자신의 지식과 현재 사이의 공백을 계산할 수 있다. 

"2026년 4월 28일 기준이고 너의 컷오프는 2025년 8월이야"라고 알려주면 모델은 그 사이 약 8개월의 정보 공백을 인식하고 해당 기간의 사실에 대해 검색 도구를 쓰거나 불확실성을 표시하게 된다.

확실하지 않은 정보는 추측하지 말고 모른다고 답하도록 강제하는 지시도 필요하다. 이 지시가 없으면 모델은 앞서 설명한 훈련 경향에 따라 그럴듯한 답을 만들어낸다. 최신 정보가 필요한 질문에는 반드시 웹 검색을 먼저 하도록 의무화하는 것도 도구 사용 여부를 확률에 맡기지 않고 강제하는 방법이다. 

모델이 사실을 말할 때 그 정보가 언제 기준인지 함께 밝히도록 요구하면 서로 다른 시점의 정보가 뒤섞여 현재 사실처럼 포장되는 것을 막을 수 있다. 기술의 한계를 이해하고 사용자가 직접 그 한계를 보정하는 것이 현재로서는 가장 확실한 방법이다.