설명가능한 AI는 어떻게 작동하나? ‘이유를 말하는 인공지능’

인공지능이 병원 진단부터 금융 심사까지 사람의 중대한 결정을 대신하는 시대가 열렸다. 하지만 많은 사용자는 AI가 어떤 과정을 거쳐 결론을 내렸는지 이해하기 어렵다고 호소한다. 결과만 툭 떨어지고 이유는 보이지 않아 신뢰하기 쉽지 않은 것이다. 

전문가들이 이런 AI를 ‘블랙박스’라고 부르는 이유도 여기에 있다. 대충 보면 잘 작동하는 것처럼 보여도 내부 계산은 수백만 개 숫자의 얽힘에 불과하기 때문에 사람이 그대로 이해하기 어렵다.

이 문제를 해결하기 위해 등장한 기술이 ‘설명가능한 AI(XAI·Explainable AI)’다. AI가 어떤 판단 과정을 거쳤는지 사람이 읽을 수 있는 언어로 설명해주는 기술을 의미한다. 의료 현장을 예로 들면 상황은 더 분명해진다. AI가 “폐렴 가능성이 높다”는 진단을 내렸다고 해도 의사가 그 이유를 알 수 없다면 진단을 믿기 어렵다. 

엑스레이에서 어떤 부분을 집중적으로 봤는지 어떤 신호가 문제였는지 확인해야 한다. 설명이 있어야 처방도 책임 있게 내려갈 수 있다.

금융에서도 원리는 같다. 대출 심사 AI가 “대출 불가”라고 판정했다면 고객은 그 이유를 알아야 한다. 소득이 문제인지 신용 점수가 문제인지 구체적인 근거를 알려줘야 공정성이 생긴다. 

이 때문에 미국과 유럽에서는 이미 ‘설명 가능한 알고리즘’을 요구하는 규제가 강화되고 있다. AI가 스스로 한 말에 책임을 지게 하는 장치가 필요하다는 사회적 합의가 만들어지고 있기 때문이다.

설명가능한 AI는 두 가지 방식으로 작동한다. 하나는 애초에 사람이 이해하기 쉬운 구조로 모델을 설계하는 방식이다. 결정트리나 선형모델이 대표적이다. 규칙이 층층이 드러나 있어 사람이 따라가면서 이해할 수 있다. 다른 하나는 복잡한 신경망처럼 설명하기 어려운 모델에 ‘사후 설명’을 붙이는 방식이다. 

이미 완성된 블랙박스 모델을 분석해 어떤 특징이 결과에 영향을 줬는지 따로 설명을 만들어주는 기술이다.

여기에는 여러 기법이 활용된다. 가장 널리 알려진 방식이 LIME이다. 특정 예측 결과를 기준으로 주변 데이터를 조금씩 바꿔보면서 어떤 요소가 결과를 움직였는지 계산한다. 한 번의 판단을 단순한 설명 모델로 다시 그려주는 방식이라 사람이 읽기 쉽다. 

또 다른 방식인 SHAP은 게임이론을 응용해 각 특징이 얼마나 기여했는지를 점수처럼 환산한다. “이 결정에 이 항목은 몇 점만큼 영향을 줬다” 식으로 설명이 나온다. 이미지에서는 ‘히트맵’이라는 방식을 써서 AI가 집중한 부분을 색으로 표시해준다. 의료 영상에서 종양 부위를 붉게 표시해주는 설명 방식이 대표적이다.

최근에는 ‘만약 이런 값이었다면 결과가 어떻게 바뀌었을까’를 보여주는 반사실적(counterfactual) 설명도 주목받고 있다. 대출 심사에서 “소득이 이 정도만 높았다면 승인되었을 것이다” 같은 설명이 가능해진다. 사용자 입장에서 이해와 행동이 모두 쉬워지는 방식이다.

2025년 들어 XAI의 중요성은 더 커지고 있다. AI가 사회 곳곳에서 의사결정을 수행하게 되면서 투명성이 곧 신뢰의 조건이 됐기 때문이다. 의료·보험·자율주행 같은 고위험 분야에서는 설명을 요구하는 규제도 강화되고 있다. 기업도 AI 오류를 빠르게 찾아내기 위해 설명 도구를 도입하고 있다. 

AI가 잘못된 데이터에 영향을 받았는지 조기에 확인할 수 있기 때문이다.

설명가능한 AI는 이제 필수 요소가 되고 있다. AI가 내놓는 결론이 얼마나 정확한지 못지않게, 왜 그런 결론을 내렸는지를 말할 수 있어야 한다는 요구가 커지고 있다. 기술이 더 강력해질수록 사람은 더 명확한 이유를 알고 싶어하기 때문이다.