보험사들 “AI는 너무 위험하다”…AI 사고 책임 제외 움직임 본격화

AI 기술이 급속도로 확산되는 가운데 미국과 유럽의 주요 보험사들이 기업 보험에서 ‘AI 관련 사고’를 보장하지 않겠다는 움직임을 보이고 있다. AI가 잘못된 판단을 내리거나 허위 정보를 생성해 기업에 금전적 피해를 입히는 사례가 급증하면서, 보험사들이 더 이상 위험을 감당할 수 없다는 판단을 내렸다는 분석이다.

영국 파이낸셜타임스(FT)는 최근 Great American, Chubb, W.R. Berkley 같은 미국 대형 보험사들이 “AI로 인해 발생하는 광범위한 손해를 기업 보험에서 제외해달라”는 요청을 규제 당국에 제출했다고 보도했다. 보험업계에서는 이 같은 움직임이 더 확산될 수 있다고 보고 있다.

보험사들이 문제 삼는 핵심은 AI 모델의 ‘불투명성’이다. AI 모델은 내부 구조가 공개되지 않고, 왜 특정 답변을 했는지 설명하기 어려운 특징을 갖는다. 흔히 ‘블랙박스’라고 불리는 이 구조 때문에 사고가 발생해도 원인을 명확히 규명하기 어렵다. 

보험사는 사고 원인을 파악해야 손해 규모와 책임 범위를 계산할 수 있는데 AI의 경우 그 과정이 사실상 불가능하다는 점이 부정적으로 작용하고 있다.

특히 기업용 챗봇이나 검색 기반 AI가 잘못된 정보를 제공해 금전적 손해로 이어지는 사례가 최근 두드러지고 있다. 올해 3월에는 구글의 AI 검색 기능이 한 태양광 기업을 ‘법적 문제가 있는 회사’라고 잘못 설명해 해당 기업이 1억1000만 달러 규모의 손해배상 소송을 제기했다. 

2024년에는 캐나다 항공사 에어캐나다가 AI 챗봇이 제멋대로 만들어낸 할인 운임을 실제로 보상해줘야 했던 사건도 있었다.

AI 기반 사기 역시 빠르게 늘고 있다. 지난해 영국의 엔지니어링 업체 아룹(Arup)은 한 고위 임원의 얼굴과 목소리를 복제한 딥페이크 영상을 믿고 2500만 달러를 송금한 사건을 겪었다. 가짜 화상회의가 실제 회의와 구분하기 어려울 정도로 정교해 피해 규모가 더 커졌다는 분석이 나왔다.

보험사들이 가장 우려하는 부분은 “동시에 여러 곳에서 사고가 발생할 가능성”이다. 같은 AI 모델을 수만 개 기업이 사용하고 있을 때, 특정 모델이 버그를 일으키거나 잘못된 정보를 만들어내면 피해가 한 기업이 아니라 수천 곳으로 동시에 퍼질 수 있다. 

보험업계에서는 이를 ‘시스템 리스크’라고 부른다. 예를 들어 한 AI 모델이 금융권 자동화 시스템에 잘못된 입력을 주면 수백 개 기관에서 동시에 거래 오류가 발생할 수 있는데, 보험사는 이를 감당할 수 없다는 판단이다. 

한 Aon 임원은 FT와의 인터뷰에서 “400만 달러짜리 사고는 감당할 수 있다. 그러나 같은 원인으로 1만 건의 사고가 동시에 발생하면 보험 산업은 이를 처리할 수 없다”고 말했다.

이 같은 현상은 기업과 금융 시스템 전체의 안정성과 직결된 문제로 이어지고 있다. 미국 재무부는 올해 3월 발표한 보고서에서 AI를 “금융 시스템의 새로운 시스템 리스크 요인”으로 정의했다. 

보고서는 여러 금융기관이 비슷한 AI 모델을 사용할 경우 동일한 오류가 동시다발적으로 발생해 금융 시장 전체를 흔들 수 있다는 점을 경고했다. 미국 증권거래위원회(SEC) 또한 지난해 말 “AI가 잘못된 투자 판단을 여러 계좌에 동시에 내릴 가능성”을 지적하며 금융기관에 위험 관리 체계를 강화하라고 권고한 바 있다.

보험업계 내부에서도 AI 관련 사고가 기존 사이버 리스크보다 더 예측하기 어렵다는 평가가 나온다. 세계 최대 재보험사 뮌헨 리는 올해 초 보고서에서 “AI 사고는 전통적인 보험 모델이 가정하는 위험 구조와 다르며 기존 사이버 보험보다 훨씬 광범위한 피해를 유발할 수 있다”고 분석했다. 

스위스 리도 “AI는 보험료 산정을 위한 통계 기반 예측이 불가능해 새로운 형태의 리스크로 분류해야 한다”고 밝혔다.

일부 보험사는 공식적으로는 “AI 사고를 보험에서 제외할 계획이 없다”고 밝히고 있지만, 실제로는 계약 조건에서 AI 관련 책임을 명확히 제한하거나 보험료를 크게 올리는 방식으로 위험을 회피하고 있다는 분석도 나온다. 

AIG는 보도 이후 “우리는 해당 예외 조항 도입을 추진하지 않고 있다”고 해명했지만 업계에서는 대형 보험사들이 내부적으로 AI 리스크를 고위험군으로 분류하고 있는 것은 사실이라고 보고 있다.

전문가들은 AI 관련 보험 시장이 앞으로 몇 년간 큰 변화를 겪을 것이라고 전망한다. AI 사고의 원인을 규명하기 어렵고, 피해가 대규모로 확산될 수 있어 기존 보험 구조로는 안정적인 보장이 어렵다는 것이다. 결국 보험사들이 AI 관련 책임을 점차 축소하고, 기업들도 AI 리스크를 자체적으로 관리해야 하는 시대가 올 수 있다는 전망이 나온다.

AI가 비즈니스 전반에 빠르게 침투하는 상황에서, 기술의 편의성과 속도가 가져오는 효율만큼이나 그에 따른 위험을 어떻게 책임지고 분담할 것인지에 대한 논의가 본격적으로 필요한 시점이다.