AI 챗봇의 거짓 정보에 뜬 미국 전투기…중국 배 나포 직전 회항

지난봄 미군 전투기가 공중에 뜨고 중국 선박을 겨냥한 무장 작전이 초읽기에 들어간 상황에서 작전의 근거가 된 정보가 AI 챗봇이 지어낸 허구였다는 사실이 뒤늦게 드러났다. 작전은 실행 직전 취소됐고 미국과 중국의 무력 충돌로 번질 뻔한 상황은 가까스로 피했다.

이는 CNN이 18일(현지시간) 복수의 소식통을 인용해 보도한 내용이다. 문제의 정보 보고서는 이란 전쟁이 한창이던 지난봄 미군 내부에 유포됐다. 중동 해역의 한 중국 선박이 핵무기 프로그램에 쓰이는 부품을 싣고 있다는 내용이었다. 

보고를 접한 미군은 곧바로 선박을 나포할 계획을 세웠다. 무장한 병력이 배에 오를 준비를 마쳤고 군용기도 이미 이륙한 상태였다.

거짓 정보의 출발점은 하와이에 있는 미 태평양특수작전사령부 소속 한 분석관이었다. 이 분석관은 중국 선박의 화물 목록을 파악하기 위해 AI 챗봇에 질문을 던졌다. 

챗봇은 누구나 볼 수 있는 공개 정보와 정부가 비밀리에 수집한 신호정보(감청 등 통신을 가로채 얻은 정보)를 뒤섞어 분석한 뒤 이 배가 핵무기 부품을 운반하고 있다는 결론을 내렸다. 화물의 정체를 잘못 짚은 것이다.

여기서 끝이 아니었다. 분석관은 챗봇을 한 번 더 썼다. 이 잘못된 결론을 군 지휘관들이 신뢰하는 공식 정보 보고서 형식으로 다듬는 데 다시 AI를 활용했다. 그럴듯한 서식을 갖춘 보고서는 지휘 계통을 타고 상부로 퍼져 나갔다. 사람이 내용을 검증하기도 전에 오류가 조직 위쪽으로 먼저 전달된 셈이다.

이런 현상은 전문가들이 '환각(hallucination)'이라 부른다. AI가 실제로 존재하지 않는 정보를 마치 사실인 것처럼 지어내는 것을 말한다. 한 소식통은 이번 보고서가 "완전히 거짓"이었으며 "전쟁을 일으킬 뻔했다"고 CNN에 전했다. 또 다른 소식통은 이런 환각 사례가 이번 한 건에 그치지 않고 정보기관 전반에서 나타나는 흐름이라고 지적했다.

CNN은 그 배가 실제로 무엇을 싣고 있었는지는 확인하지 못했다. 분석관이 쓴 챗봇이 일반에 판매되는 상용 제품인지 정부가 자체 제작한 것인지도 밝혀지지 않았다.

이번 사건은 미군이 중국과의 경쟁에서 우위를 지키기 위해 AI 도입에 속도를 내는 와중에 벌어졌다. 미 국방부는 표적을 정하거나 병력·장비를 어디로 옮길지 같은 전장 판단을 더 빠르게 내리는 데 AI가 도움이 된다고 본다. 언젠가 중국이나 다른 적국과 싸우게 될 경우 상대에게 한발 뒤처져서는 안 된다는 논리다.

피트 헤그세스 국방장관은 이런 흐름을 앞장서 이끌어 왔다. 그는 올해 1월 국방부의 'AI 가속 전략'을 내놨다. 이어 미국산 AI 플랫폼 '젠에이아이닷밀(GenAi.Mil)'을 선보였다. 

이 플랫폼은 군 구성원이 심층 조사를 하고 문서를 정리하며 영상이나 영상 이미지를 빠르게 분석하도록 돕는 도구다. 다만 이번에 핵무기 부품을 잘못 지목한 챗봇이 이 도구인지는 확인되지 않았다.

빠른 판단이라는 AI의 장점이 오히려 위험을 키운다는 우려도 나온다. 속도가 빨라진 만큼 사람의 감독이 충분히 이뤄지지 않은 채로 환각이 그대로 통과될 수 있기 때문이다. 

특히 표적 선정에 AI를 쓰는 흐름이 뚜렷해지고 있는데 사람이 중간에 개입한다고 해서 민간인 피해나 아군 오사(誤射)를 막을 수 있다는 지침은 아직 마련돼 있지 않다고 한 소식통은 전했다.

미국 정부의 정책 연구기관 GovAI 소속 연구원이자 미 육군 장교 출신인 제이크 스테클러는 군 구성원이 대규모언어모델(LLM), 즉 챗봇 같은 AI가 본질적으로 불확실성을 안고 있다는 점을 이해해야 한다고 밝혔다. 

특히 무력 사용으로 이어질 수 있는 표적 설정이나 정보 분석, 작전 계획 같은 결정에서는 이 점이 더욱 중요하다고 강조했다. 이런 판단에는 생사가 걸려 있기 때문이다.

다만 그는 이번 일이 AI를 멀리할 이유가 아니라 안전장치를 더 갖춰야 할 이유라고 봤다. 적절한 환경과 안전장치가 갖춰지면 이런 도구가 유용하게 쓰일 수 있다는 것이다. 도입 속도만 앞세우다 보면 사고가 잇따르고 결국 군 구성원이 AI를 신뢰하지 않게 돼 도입 자체가 더뎌질 수 있다고 그는 덧붙였다.

이번 사건은 도널드 트럼프 대통령과 시진핑 중국 국가주석의 만남을 앞둔 시점에 알려졌다. 시 주석은 오는 24일 워싱턴을 방문할 예정이다. 두 정상은 AI 사용 문제를 논의할 것으로 전망된다.

(썸네일 사진 출처: 위키피디아)