“AI에게 위로받을수록 무너지는 인간성”…스탠퍼드, ‘아첨하는 AI’ 경고

AI 챗봇이 사용자에게 맞춰주고 공감하는 방식이 오히려 인간의 판단력과 사회성을 약화시킬 수 있다는 연구 결과가 나왔다. 스탠퍼드대 연구진은 최근 국제 학술지 사이언스에 ‘아첨하는 AI는 친사회적 행동을 감소시키고 의존성을 증가시킨다’는 논문을 발표했다. 

연구진은 현재 주요 AI 챗봇들이 사용자의 의견을 과도하게 긍정하거나 정당화하는 경향을 보이며 이 현상이 광범위하게 나타난다고 설명했다.

연구팀은 먼저 챗GPT, 클로드, 제미나이, 딥시크 등 11개 대형 AI 모델을 대상으로 실험을 진행했다. 인간 관계 조언, 윤리적으로 문제가 될 수 있는 행동, 온라인 커뮤니티 사례 등을 기반으로 질문을 입력한 뒤 AI의 반응을 분석했다. 그 결과 AI는 인간보다 평균 49% 더 높은 빈도로 사용자의 행동을 정당화하는 답변을 내놓았다. 

특히 온라인 커뮤니티에서 다수 이용자가 잘못된 행동이라고 판단한 사례에서도 AI는 절반 이상에서 사용자의 입장을 긍정했다.

실제 사례에서는 장기간 실직 사실을 숨긴 채 연인을 속였다는 질문에 대해 AI가 행동의 동기를 이해하려는 시도로 해석하며 일정 부분 정당성을 부여하는 답변을 제시했다. 연구진은 이런 반응이 사용자의 잘못된 판단을 교정하기보다 강화하는 방향으로 작용한다고 분석했다.

두 번째 실험에서는 2400명 이상의 참가자를 대상으로 AI와의 상호작용을 관찰했다. 일부 참가자에게는 사용자 의견을 지지하는 아첨형 AI를, 다른 참가자에게는 중립적이거나 비판적인 답변을 제공하는 AI를 연결했다. 

그 결과 참가자들은 아첨형 AI를 더 선호하고 신뢰하는 경향을 보였으며 이후에도 해당 AI를 다시 사용하겠다는 의사를 더 많이 나타냈다.

아첨형 AI와 대화한 참가자들에게는 몇 가지 문제가 생겼다. 자신의 판단이 옳다는 확신이 강화됐고 상대방에게 사과할 가능성은 낮아졌다. 연구진은 이 과정에서 사용자가 점점 자기 중심적인 판단을 강화하고 도덕적 확신이 과도하게 굳어지는 경향이 나타났다고 설명했다.

상업적으로 보면 사용자에게 긍정적인 반응을 제공할수록 체류 시간과 재사용률이 높아지는 구조에서는 기업이 의도하지 않더라도 아첨 성향을 강화할 유인이 생긴다. 연구진은 문제를 유발하는 특성이 동시에 서비스 성과를 높이는 요소로 작동하는 ‘역설적 인센티브’가 존재한다고 지적했다.

실제 이용 행태에서도 이러한 변화는 이미 나타나고 있다. 미국 퓨리서치 조사에 따르면 청소년의 12%가 감정적 지지나 조언을 얻기 위해 AI 챗봇을 사용하고 있다고 응답했다. 대학생들이 연애 상담은 물론 이별 메시지 작성까지 AI에 의존하는 사례도 보고되고 있다.

연구진은 이 같은 사용 방식이 반복될 경우 인간이 직접 갈등을 해결하고 관계를 조정하는 능력이 약화될 수 있다고 우려했다.

연구를 이끈 스탠퍼드대 연구진은 사용자들이 AI가 아첨적인 답변을 한다는 사실 자체는 인지하고 있지만 그로 인해 자신의 사고방식이 변화하고 있다는 점은 인식하지 못하고 있다고 분석했다. 특히 아첨형 AI와의 상호작용이 반복될수록 판단 기준이 외부 검증보다 자기 확신 중심으로 이동하는 경향이 관찰됐다고 설명했다.

연구진은 이 문제를 상당히 중대한 안전 문제로 규정했다. 잘못된 행동을 제지하지 못하고 오히려 정당화하는 AI는 개인의 윤리 판단뿐 아니라 사회적 관계에도 영향을 줄 수 있기 때문이다. 이에 따라 규제와 감독 체계가 필요하다는 의견이다.

AI 모델의 아첨 성향을 줄이기 위한 기술적 접근도 일부 제안됐다. 현재로서는 질문 방식에 변화를 주거나 모델이 반대 의견을 제시하도록 설계하는 방식이 검토되고 있다. 다만 연구진은 현재 단계에서 가장 현실적인 대응은 인간을 대체하는 상담 도구로 AI를 사용하는 것 자체를 피하는 것이라고 설명했다.

(썸네일 사진 출처: 스탠포드 대학)