인간과 AI 사고방식의 차이를 규정하는 단 하나의 공식, 목적함수

AI에 익숙해져 있고, AI에게 생활과 업무의 상당 부분에서 도움을 받아본 적이 있는 사람이라면 누구나 한 번쯤은 생각해보았을 질문이 있다. 사람의 뇌와 AI가 가지는 근본적인 차이는 무엇일까? 사고 구조가 어떻게 다른지, 그리고 그럼에도 불구하고 같은 주제에 대해 나오는 결과물은 왜 비슷할까?

인간의 뇌는 기본적으로 생물학적 신경망이다. 뉴런이 전기화학적 신호로 연결되어 있고 학습은 시냅스 가중치 변화로 일어난다. 여기까지는 AI 신경망과 비슷해 보이지만 핵심은 “학습 방식”과 “구조의 목적”이 다르다는 데 있다.

인간의 뇌는 예측 기계이다. 감각 입력을 받아서 내부 모델을 계속 수정하면서 세상을 예측한다. 이 과정은 실시간이며 강화학습, 비지도학습, 자기지도학습이 동시에 가동된다. 그리고 중요한 것은 에너지 제약과 신체와의 결합이다. 

뇌는 몸을 통해 세상을 경험하면서 다중 감각을 통합한다. 시각, 청각, 촉각, 고유감각, 감정 반응까지 하나의 통합 시스템으로 작동한다는 뜻이다. 사고는 항상 신체 기반이며 연속적이고 맥락 의존적이다.

AI는 완전히 다르다. 현재의 대형 언어 모델은 기본적으로 확률 분포를 학습한 거대한 함수이다. 입력 토큰이 들어오면 다음 토큰의 조건부 확률을 계산할 뿐이다. 내부적으로는 수천억 개의 가중치를 가진 행렬 연산일 뿐이고 이 모델은 실제 세계를 경험하지 않는다. 감각도 없고 몸도 없다. 

세계에 대한 내부 모델은 오직 텍스트 통계로 형성된다. 즉, AI는 의미를 이해하는 게 아니라 패턴을 압축하는 것이다. 여기까지는 누구나 다 아는 사실일 것이다.

그러나 좀 더 세부적으로 파고들어가면 약간의 차이가 있다. 바로 목적 함수이다.

인간은 생존, 보상, 사회적 학습 같은 복합적 강화 구조를 가지는데 AI는 학습 시점에 정의된 손실 함수 하나만 최적화한다. 예를 들어 언어 모델은 “다음 토큰 예측 오차의 최소화”이다. 그 이상은 없다. 

목적함수가 무엇이고 어떻게 사람의 뇌와 AI를 구분짓나.

목적함수는 “이 시스템이 무엇을 잘 하게 만들 것인가”를 숫자 하나로 정의한 규칙이다. 학습은 결국 파라미터 θ를 바꿔서 목적함수 값을 최소화하거나 최대화하는 과정이며 이 지점이 AI와 인간의 차이를 가장 분명하게 보여주는 부분이다. 

딥러닝에서 전형적인 형태는 θ* = argminθ ????[(loss)] 같은 꼴이다. 이는 손실값(loss)의 기댓값을 최소로 만드는 θ를 찾는다는 의미다. 여기서 loss는 목적함수의 핵심 재료이다.

예를 들어 언어 모델은 학습 데이터에서 “다음 토큰을 맞히는” 확률을 최대화하도록 설계된다. 더 정확히는 데이터 (x, y)에서 y를 맞힐 확률 Pθ(y|x)를 키운다. Pθ(y|x)는 입력 x가 주어졌을 때 정답 y가 나올 조건부 확률을 뜻한다. 

손실은 보통 -log Pθ(y|x) 형태이며, 정답 확률이 높을수록 손실이 작아진다. 이 값을 전 데이터에 대해 평균낸 것이 크로스엔트로피 손실이다. 크로스엔트로피는 예측 분포와 정답 분포 사이의 차이를 수치로 측정하는 지표이다. 모델은 텍스트를 보고 다음 토큰 분포를 출력하는 함수로 수렴한다.

여기서 중요한 포인트는 “의미”가 목적이 아니라 “예측 정확도”가 목적이라는 점이다. 의미는 예측을 잘하면 자연스럽게 따라오는 부산물이다. 언어 모델이 그럴듯한 문장을 만드는 이유는 문장 생성 자체가 목적이어서가 아니다. 다음 토큰 예측을 잘하려면 인간이 말하는 방식의 통계 구조를 내부에 학습해야 하기 때문이다. 

요약 모델도 구조는 같다. 겉으로는 ‘요약’이 목적처럼 보이지만 학습 신호는 “정답 요약 토큰을 맞히는 것”이다. 번역, 질의응답, 코드 생성도 본질적으로는 “정답 시퀀스를 맞힐 확률을 최대화하는 문제”로 환원된다. 이 구조가 첫 번째 축이며, 그래서 LLM의 기본 목적함수는 생각보다 단순하다.

그렇다면 실제로 사람들에게 도움이 되는 답은 어디서 나올까. 최근 모델은 사전학습 단계에서 더 나아가 정렬(alignment) 단계에서 사람의 선호를 반영한다. 대표적인 방식이 RLHF이다. RLHF는 인간 피드백을 활용한 강화학습 방식이다. 

이 단계에서는 목적함수가 “정답 토큰을 맞히는 것”에서 “사람이 더 선호하는 답을 선택할 확률을 높이는 것”으로 바뀐다.

과정은 다음과 같다. 여러 후보 답을 생성한다. 사람 평가를 통해 “A가 B보다 낫다”는 쌍대 비교 데이터를 만든다. 이 데이터를 이용해 보상모델 Rφ(x, y)를 학습한다. Rφ(x, y)는 특정 입력 x와 출력 y에 대해 사람이 얼마나 선호할지를 점수로 예측하는 함수이다. 

이후 최종 모델은 θ를 업데이트할 때 ????[Rφ(x, y)]를 최대화한다. 동시에 원래 사전학습 모델에서 너무 멀어지지 않도록 KL 페널티를 붙인다. KL 페널티는 두 확률분포가 얼마나 다른지를 측정하는 항이다. 즉 “사람이 좋아할 답을 더 자주 내되, 기존 언어 분포에서 과도하게 벗어나지 않도록 제한하는” 구조이다. 

이 단계에서 ‘유용함’, ‘안전함’, ‘공격적이지 않음’ 같은 특성이 강화된다. 같은 지식을 가진 모델이라도 사전학습만 거친 경우와 정렬을 거친 경우의 말투와 태도가 달라지는 이유가 여기에 있다. 말투와 기능은 목적함수의 결과이다.

인간도 AI의 목적함수와 비슷한 특성이 있을까.

물론 인간도 목적함수를 가진다. 다만 한 줄짜리 수식으로 고정되어 있지 않다. 인간의 목적함수는 계층적이며 시간에 따라 변한다. 여러 목적이 동시에 작동한다. 

뇌에서는 도파민 기반의 보상 예측 오차가 학습 신호로 작동한다는 해석이 있다. 보상 예측 오차는 예상한 보상과 실제 보상의 차이를 의미한다. 이는 강화학습에서 사용하는 TD error와 유사한 개념이다.

인간은 다양한 보상을 최적화하기 위해 항상 노력한다. 통증 회피, 에너지 절약, 사회적 인정, 장기 목표, 습관, 공포 조건화 등 다양한 요소가 동시에 작용한다. 그래서 인간의 목적 구조는 다중 목적 최적화에 가깝다. 상황에 따라 가중치가 달라진다. 

예를 들어 특정 순간에는 배고픔이 최우선 목표가 된다. 다른 순간에는 사회적 체면이 더 큰 비중을 차지한다. 반면 AI는 학습 단계에서 정의된 목적함수를 고정된 가중치로 최적화한다. 추론 단계에서는 그 목적함수가 변하지 않는다. 인간은 사고 과정 중에도 목표와 가중치를 지속적으로 조정한다.

목적함수는 시스템의 사고 방식을 결정한다. 다음 토큰 예측을 최적화한 모델은 “진실”을 직접적으로 최적화하지 않는다. 그럴듯하지만 틀린 답이 나오는 이유가 여기에 있다. 학습 데이터에서 특정 사실 패턴이 자주 등장했다면 그 패턴의 확률이 높아진다. 

그럼에도 불구하고 왜 사람과 AI의 결과물이 비슷한가.

언어 자체가 통계 구조를 가진 압축 시스템이기 때문이다. 인간도 언어를 쓸 때 통계적 규칙을 따른다. 문법, 관용 표현, 논리 전개 패턴, 정보 밀도 배치 등은 집단 학습의 결과이다. AI는 이 구조를 그대로 대규모 데이터에서 학습하게 된다.

다시 말해서 인간이 만든 언어는 이미 수백만 명의 뇌가 합쳐서 최적화한 결과물이다. AI는 그 집합 평균을 학습하기 때문에 평균적인 설명, 평균적인 논리 전개, 평균적으로 설득력 있는 구조는 인간과 거의 비슷하게 나올 수 있다.

또 한 가지 이유는 과제의 형태이다. 질문에 대한 답변, 글쓰기, 요약 같은 작업은 기본적으로 “기존 지식의 재조합”이다. 인간도 완전히 새로운 사고를 하는 경우는 드물고 대부분의 사고는 기억 재구성에 해당한다. 당연히 AI도 확률 기반 재조합이 본업이므로 출력이 겉보기에는 비슷하게 나오는 것이다.

앞서 설명한 목적함수의 문제만 해결된다면 미래에는 AI와 사람을 구분하는 것이 지금보다 훨씬 더 힘들어질 수도 있다. 목적함수는 시스템의 사고 방식을 규정하는 핵심 요소이기 때문이다.

다음 토큰 예측을 목표로 설계된 모델은 ‘진실’ 자체를 직접 최적화하지 않는다. 이 구조에서는 문맥상 그럴듯한 답이 높은 확률을 얻는다. 학습 데이터에서 반복적으로 등장한 사실 패턴은 확률적으로 강화된다. 그 결과 실제로는 틀린 내용이라도 통계적으로 자연스러우면 출력될 수 있다.

검증 가능한 정확성을 높이기 위해서는 목적함수에 별도의 보상 항을 추가해야 한다. 정확한 답변에 대한 보상, 신뢰 가능한 출처와의 일치 여부에 대한 보상, 자기검증 실패에 대한 패널티를 설계할 수 있다. 이러한 항이 포함되면 모델은 결과의 일관성과 검증 가능성을 고려하게 된다.

도구를 활용하는 모델에서는 보상 구조가 크게 달라진다. 정답 토큰을 맞히는 대신 외부 계산기나 검색 시스템을 호출한 뒤 그 결과와 일치하는지를 보상 기준으로 삼는다. 

이 경우 목적함수 변화에 따라 모델의 내부 정책도 달라진다. 답을 바로 생성하는 것보다 검색과 계산을 수행하고 결과를 확인한 뒤 응답을 구성하는 경로가 더 낫다는 판단을 AI가 스스로 수행하고 강화되는 것이다. 이제는 목적함수의 설계 방식이 곧 모델의 사고 절차를 결정하는 시대가 되었다.