생성형 AI는 어떻게 갑자기 수학을 잘 하게 되었을까

한때 생성형 인공지능(AI)은 덧셈조차 제대로 못했다. “2+3=?” 같은 문제에도 엉뚱하게 6이나 8을 내놓고, 조금만 문장이 복잡해지면 완전히 길을 잃었다. 

초창기 생성형 AI는 계산기가 아니라 ‘문장 예측기’였기 때문이다. 이 모델들은 세상의 모든 글을 읽고 “이 단어 다음엔 어떤 단어가 자주 오더라”를 통계적으로 예측하도록 훈련됐다. 그러니까 “2+3=?”을 보고 5라는 개념을 계산한 게 아니라 인터넷에서 “2+3=” 다음에 5가 자주 나왔다는 걸 기억한 정도였다. 

문제는 이런 식으로 숫자를 다루면 조금만 문맥이 바뀌어도 말도 안 되는 대답이 나오는 구조라는 점이다. 게다가 AI는 숫자를 ‘숫자’로 이해하지 않고 ‘문자’로 취급한다. 1234를 네 개의 글자로 인식하니 자릿수 계산이나 올림 개념은 통째로 빠져 있었다. 

언어모델의 핵심 구조인 ‘트랜스포머’는 문장 속 의미 패턴을 잡는 데는 탁월하지만 단계적으로 계산을 수행하는 데는 약했다. 요약하자면 초창기 AI는 계산을 ‘이해’하는 게 아니라 ‘그럴듯하게 흉내’ 내는 수준이었다.

이 문제를 해결하기 위해 연구자들이 꺼낸 첫 번째 카드가 ‘체인 오브 쏘트(Chain of Thought)’였다. 이름 그대로 ‘생각의 사슬’을 만드는 방식이다. 예전엔 “2+3=?” 하면 답만 내놨지만 이제는 “2와 3을 더하면 5가 된다”처럼 중간 과정을 문장으로 적게 만든다. 

사람처럼 사고의 흐름을 따라가게 하자 정답률이 눈에 띄게 올랐다. 두 번째는 AI가 실제 계산기를 끼고 다니게 하는 방법이다. Python 같은 코드 인터프리터를 연결해서 “루트 3의 제곱은?” 같은 문제가 들어오면 직접 계산을 돌리도록 한 것이다. 덕분에 이제는 글자 놀음이 아니라 진짜 연산 결과를 내놓을 수 있다. 

세 번째는 문제를 문장 단위로 쪼개서 ‘의미 트리’를 만든 뒤 그걸 수식으로 바꿔 계산하는 방법이다. “존이 사과 5개를 가지고 있고 3개를 더 샀다”를 “5+3=?”으로 변환하는 식이다. 

네 번째는 외부 도구를 부르는 구조다. AI가 스스로 WolframAlpha나 검색 엔진을 불러서 필요한 계산이나 수식을 찾아오는 식이다. 

다섯 번째는 수학 전용 AI의 탄생이다. 구글의 Minerva나 딥마인드의 AlphaCode처럼 오로지 수학과 논리 문제만을 학습한 모델이 등장하면서 복잡한 미적분이나 논리 퍼즐까지 풀 수 있는 수준으로 올라섰다. 

여기에 여러 가지 답을 동시에 만들어서 가장 일관된 결과를 고르는 ‘트리 오브 쏘트(Tree of Thought)’나 스스로 논리를 검증하는 ‘셀프 컨시스턴시(Self-Consistency)’ 같은 기법도 붙었다. 이제 AI는 답을 찍는 대신 사고 경로를 시뮬레이션하는 구조로 진화했다.

이후에는 ‘사고하는 법’을 훈련시키는 쪽으로 발전했다. 수학을 넘어 수능형, 올림피아드형 문제까지 푸는 이유가 바로 여기에 있다. 지금의 AI는 문제를 여러 단계로 나누고 각 단계마다 가설을 세운 뒤 서로 다른 풀이를 시도해 가장 일관된 답을 고른다. 

그래서 한 번의 답 예측이 아니라 수십 번의 ‘생각 실험’을 동시에 돌리는 셈이다. 또 단순히 답을 맞히는 게 아니라 ‘왜 이게 답인지’에 대한 논리적 타당성을 따지는 학습이 추가됐다. 

과거엔 정답을 내면 보상받았지만 지금은 논리적으로 납득되는 풀이 과정을 만들어야 점수를 받는다. 거기에 AI가 코드로 직접 수식을 시뮬레이션하며 다양한 케이스를 실험하는 ‘코드 기반 사고’도 더해졌다. 

예를 들어 도형 넓이 문제를 받으면, 실제로 여러 값을 대입해 변화를 관찰한다. 텍스트만 읽는 게 아니라 도형과 그래프 같은 시각 정보까지 함께 해석하는 멀티모달 기능도 붙었다. 이제는 눈으로 그림을 보고 언어로 사고하는 두뇌가 된 셈이다. 수능이나 올림피아드 같은 복잡한 문제에서도 이런 통합적 사고 구조가 큰 역할을 한다.

하지만 그렇다고 AI가 완벽한 수학자가 된 건 아니다. 여전히 ‘틀린 이유를 너무 그럴듯하게 설명하는’ 문제가 있다. 답은 맞는데 풀이 과정이 엉망인 경우도 많다. 

특히 확률, 함수, 조건문제처럼 한 문장 안에 여러 전제가 들어 있는 문제에서 이런 오류가 자주 나타난다. 또 AI는 틀렸을 때 “모르겠다”고 하지 않는다. 문맥상 그럴듯해 보이는 말을 꾸며내며 자신만만하게 말한다. 게다가 다단계 추론 구조는 한 단계라도 잘못되면 나비효과처럼 전체 풀이가 무너진다.

그리고 가장 큰 문제는 여전히 ‘문제 해석력’이다. 인간은 문제의 의도를 추측하지만 AI는 주어진 문장 그대로만 읽는다. 그래서 언어가 조금만 모호하면 엉뚱한 방향으로 논리를 전개한다.

이런 관점에서 보면 현재의 생성형 AI는 ‘답을 찾는 계산기’라기보다 ‘풀이를 설계하는 조교’에 가깝다. 계산은 외부 도구에 맡기고 논리는 여러 시뮬레이션을 돌려 교차 검증한다. 실제로 많은 연구자들은 이 구조를 “협업형 사고 엔진”이라 부른다. 

AI가 인간처럼 고민하고 토론하는 흉내를 내지만 여전히 인간의 직관과 추론을 완전히 대체하진 못하는 것이다.

현재 생성형 AI를 수학에 활용하는 가장 효율적인 방법은 정답을 요구하기보다 풀이 과정을 생성하게 한 뒤 사람이 그 과정을 검증하는 방식이라는 분석이 나온다. 전문가들은 AI가 문제를 단계적으로 풀어가는 논리 전개에서는 인간 못지않은 강점을 보인다는 부분에 주목하라고 조언한다.

실제로 생성형 AI는 복잡한 문제를 마주했을 때 “이런 식으로 접근하면 된다”는 사고의 흐름을 잘 보여주며 그 과정에서 문제 해결의 방향성을 잡는 데 도움을 준다. 따라서 AI에게 문제의 풀이 과정을 요구하는 것이 훨씬 안전하고 효율적이라는 평가다. 

이 경우, 사람이 중간 과정을 직접 검토할 수 있기 때문에 오류를 쉽게 식별할 수 있고 AI가 제시한 여러 접근법을 비교·분석해 최적의 해법을 도출할 수도 있다. 

특히 복잡한 논리나 조건이 얽힌 문제에서는 AI가 사고 단계를 세분화하며 다양한 관점을 제시해 주는 점이 강점으로 꼽힌다. 이런 이유로 전문가들은 지금의 생성형 AI를 자동 계산기보다는 수학 연구의 동료로 보는 것이 현실적이라고 말한다. 

결국 AI를 정답을 대신 내주는 존재로만 사용하지 않고 사고 과정을 함께 탐색하며 인간이 최종 검증을 맡는 도구로 활용할 때 가장 큰 효율이 발휘될 것이다.