[법과제도]“챗봇이 한 말 때문에 피해를 봤다”...법원은 누구 책임을 물을까

생성형 AI가 사람에게 피해를 끼칠 수 있을까. 놀랍게도 그렇다. 생성형 AI가 전 세계 수억 명의 인구에게 보편화된 이후 기존에는 상상도 하지 못했던 사건사례들이 속속 등장하고 법적 쟁점으로 등장하고 있다.

2024년 이후 실제 피해 사례가 잇따라 드러나면서 이 문제는 법정에서 다뤄지는 현실 문제가 됐다. 문제는 그 다음이다. 챗봇은 사람도 아니고 법인도 아니다. 그렇다면 피해가 발생했을 때 법원은 누구에게 책임을 묻고 있을까.

현재는 전 세계 어느 법원도 생성형 AI 자체를 법적 책임 주체로 인정하지 않는다. AI는 의사결정의 주체가 아니라 도구로 취급되기 때문이다. 대신 법원은 일관되게 “그 AI를 설계하고, 배포하고, 사용한 인간 또는 기업 중 누가 그 결과를 통제할 위치에 있었는가”를 묻는다. 이 기준은 최근 판례들을 통해 점점 구체화되고 있다.

가장 많이 인용되는 사례는 2024년 캐나다에서 나온 Air Canada 챗봇 오안내 사건이다. 이름은 Moffatt v. Air Canada 사건이며, 항공사 웹사이트에 탑재된 챗봇이 장례 할인 요금과 환불 규정을 잘못 안내했고 이를 믿은 소비자가 실제로 금전적 손해를 입었다. 항공사는 “챗봇은 시험용 도구였고 직원이 아니다”라며 책임을 부인했다.

그러나 캐나다 민사분쟁조정재판소는 이 주장을 받아들이지 않았다. 재판부는 챗봇을 “회사 웹사이트의 한 기능”으로 봤고, 소비자에게 정보를 제공한 주체는 결국 회사라고 판단했다. 

챗봇이 자동으로 말을 만들어냈다는 점은 면책 사유가 되지 않았다. 이 판결은 이후 여러 국가에서 소비자 보호 논의의 기준점처럼 인용되고 있다. 기업이 챗봇을 공식 안내 창구로 사용하면 그 말에 대한 책임도 함께 진다는 취지다.

반면 명예훼손 사건에서는 결과가 갈린다. 2023년 미국에서 챗GPT가 실존 인물을 횡령·사기 연루자로 묘사했다는 이유로 소송이 제기됐고, 이 사건은 2025년 미국 연방법원에서 기각됐다. 이른바 Walters v. OpenAI 사건이다.

재판부는 “AI가 허위 내용을 생성했다”는 사실만으로는 명예훼손이 성립하기 어렵다고 봤다. 명예훼손이 되려면 해당 발언이 제3자에게 전파돼 사회적 평가를 실제로 떨어뜨렸는지, 회사가 그 위험을 인지하고도 방치했는지 등이 입증돼야 한다는 것이다. 즉 개인 화면에 잠깐 표시된 AI 답변만으로는 ‘발행’ 요건이 충족되지 않는다고 본 셈이다.

이 판결은 AI 명예훼손 책임의 문턱이 생각보다 높다는 점을 보여준다. 동시에 플랫폼이 문제 출력을 반복적으로 인지하고도 개선하지 않았을 경우에는 결과가 달라질 수 있다는 여지도 남겼다.

2025년 들어 가장 민감한 영역은 정신건강과 자해 관련 사건이다. 미국 언론을 통해 알려진 청소년 사망 사건에서는 유족이 “AI 대화가 위험한 선택을 강화했다”며 서비스 제공사를 상대로 소송을 제기했다. 이 사건들에서 법원이 집중하는 지점은 AI의 ‘말 내용’ 자체보다 설계다.

재판 과정에서 쟁점이 되는 것은 △자해 신호를 감지하는 시스템이 있었는지 △위험 대화가 발생했을 때 차단하거나 외부 도움을 안내했는지 △반복적·강화적 응답을 제한했는지 등이다. 이는 제품 책임법에서 말하는 ‘예견 가능한 위험’과 ‘합리적 방지 조치’ 개념을 AI 서비스에 적용한 것이다. 

다시 말해 AI가 위태로운 말을 했다는 사실보다 그 상황을 막을 장치를 마련해 두었는지가 책임 판단의 중심이 되고 있다.

법조계에서도 다양한 사건사고가 발생했다. 미국 연방법원들은 2024~2025년 사이 AI가 만들어낸 가짜 판례를 그대로 제출한 변호사들에게 벌금과 징계를 부과했다. 한 사례에서는 변호사가 “AI가 제공한 자료였다”고 해명했지만 법원은 이를 받아들이지 않았다.

재판부는 변호사에게 AI 사용 여부가 아니라 검증 의무를 문제 삼았다. AI는 조사 도구일 뿐이고, 제출 전 사실 확인은 전문가의 기본 책무라는 것이다. 이 판단은 회계, 의료, 금융 자문 영역에도 그대로 확장되고 있다. AI를 썼다는 사실은 책임을 줄여주지 않는다. 오히려 검증을 소홀히 했다는 증거로 작용한다.

생성형 AI 학습 데이터를 둘러싼 저작권 소송도 책임 주체 논의를 구체화하고 있다. 2025년 미국에서는 Anthropic 관련 소송에서 “학습 자체는 공정이용에 해당할 수 있다”는 판단이 나왔지만, 불법 복제본을 학습에 사용했는지 여부는 별도로 다퉈야 한다는 취지가 함께 제시됐다.

이는 결과물보다는 학습 경로가 책임 판단의 핵심이 된다는 의미다. 합법적으로 확보한 데이터로 학습했는지, 해적 사이트나 무단 복제 자료를 사용했는지에 따라 개발사 책임이 갈릴 수 있다는 점이 분명해졌다.

지금까지의 판례와 사건을 종합하면 법원이 생성형 AI 사고에서 던지는 질문은 놀라울 정도로 간단하다. 누가 그 AI를 통제했는가, 그 위험을 예측할 수 있었는가, 그리고 막을 수 있었는가다. 

소비자 안내라면 기업 책임으로 기울고 전문가 업무라면 사용자의 책임이 커지며, 악의적 활용이 입증되면 사용자 책임이 전면에 나온다.

법원은 챗봇을 범인으로 세우지 않는다. 대신 그 말을 세상에 나오게 한 사람과 기업 중 이러한 사건을 맨 처음에 막을 수 있었던 주체를 찾아 책임을 묻는다. 생성형 AI 시대의 법은 오래된 책임의 원칙을 가장 현대적인 도구에 다시 적용하는 방향으로 진화하고 있다고 보아야 할 것이다.