[법과제도]AI가 방아쇠를 잘못 당기면 국제법은 누구를 처벌할까?

미군이 지구촌 곳곳에서 연달아 벌어지는 전쟁에서 클로드(Claude)와 같은 AI 모델을 적극 활용하면서 미국 AI 기업 앤트로픽과 미 국방부의 갈등이 지속되고 있다. 

국방부가 군사 영역에서 AI 활용 범위를 넓히면서 국방부에게 협조적인 태도를 보이지 않는 특정 기업 기술을 배제하거나 공급망 위험으로 분류하려는 움직임을 보이자 앤트로픽은 자사 기술이 전장에서 쓰이는 방식에 대해 공개적으로 문제를 제기했다. 

이에 대한 미 행정부 차원의 보복성 사용 중단 지시와 국방부의 추가 조치가 이어지면서 민간 AI 기업이 군사 체계 안으로 편입될 경우 어떤 법적 통제가 작동하는지가 수면 위로 떠올랐다. 쟁점은 AI가 전투 판단에 개입할 때, 그 결정은 누구의 책임이 되는가다.

국제법의 출발점은 국제인도법이다. 무력 충돌 상황에서는 민간인과 전투원을 구분해야 하고 공격으로 기대되는 군사적 이익에 비해 민간 피해가 과도해서는 안 된다는 비례성 원칙이 적용된다. 

이 원칙은 인간 지휘관의 판단을 전제로 설계됐다. 그러나 목표 식별과 타격 우선순위 산정에 AI가 활용될 경우 알고리즘이 어떤 데이터를 근거로 결론에 도달했는지를 사후에 설명할 수 있어야 법적 검증이 가능하다. 설명 가능성이 낮은 모델이라면 비례성 판단이 실제로 어떻게 계산됐는지 입증하기 어렵다. 

결과적으로 오폭이 발생하면 국제법 위반 여부를 가르는 핵심 증거 자체가 불투명해진다.

추가의정서 제36조는 각 국가가 새로운 무기나 전투 수단을 도입하기 전에 국제법 위반 가능성을 검토하도록 의무를 부과한다. 문제는 AI가 하드웨어가 아니라 지속적으로 업데이트되는 소프트웨어라는 점이다. 

모델이 학습을 거듭하거나 파라미터가 조정될 때마다 성능과 판단 구조가 변한다. 이 경우 최초 도입 시점의 무기 검토만으로는 충분하지 않다. 이론적으로는 업데이트마다 재검토가 필요하다. 

군이 외부 기업의 모델을 API 형태로 연동해 사용하는 구조라면 코드 변경이나 데이터 수정이 곧 무기 체계의 성격 변경으로 해석될 수 있다. 법적 검토 체계가 이를 따라가지 못하면 제36조 의무 이행 여부 자체가 논란이 된다.

형사 책임 문제는 더 복잡하다. 국제형사재판소 로마규정 제28조는 지휘관이 부하의 전쟁범죄를 방지하지 못했을 경우 책임을 질 수 있다고 규정한다. AI가 목표를 잘못 분류해 민간인 피해가 발생했다면 최종 승인 버튼을 누른 지휘관이 책임을 지는 구조가 기본이다.

그러나 AI가 실시간으로 표적을 선정하고 인간이 형식적 승인만 하는 방식이라면 ‘실질적 통제’가 있었는지가 쟁점이 된다. 더 나아가 알고리즘 설계자가 예측 가능한 오작동 위험을 알고도 방치했다면 기업 관계자에게 공범 또는 방조 책임이 성립할 여지도 배제할 수 없다. AI가 판단했다는 이유만으로 책임의 공백이 생기지는 않는다.

미국 내부 규정은 이를 통제하기 위한 장치를 두고 있다. 2023년 개정된 국방부 지침 3000.09는 자율 기능이 포함된 무기 체계에 대해 인간의 적절한 판단과 감독을 요구한다.

‘적절한 수준의 인간 판단’이라는 표현은 모호하지만 최소한 완전 자동화된 살상 결정을 허용하지 않는다는 신호다. 동시에 국방부는 AI 윤리 원칙을 통해 책임성, 추적 가능성, 신뢰성, 통제 가능성을 강조한다. 이는 전장에서 사용된 AI 시스템의 결정 과정을 기록하고 필요할 경우 즉시 개입하거나 중단할 수 있어야 한다는 의미다. 

그러나 초단위로 움직이는 교전 환경에서 인간이 실제로 얼마나 개입할 수 있는지는 별개의 문제다. 통제 가능성이 이 정도의 문구에 그칠 경우 결국 지휘관이 법적 책임을 면하기 어렵다.

한편 국제 무대에서는 특정재래식무기금지협약 체계 아래에서 AI를 활용한 치명적 자율무기 시스템에 대한 규범 논의가 이어지고 있다. 일부 국가는 인간의 의미 있는 통제를 법적 의무로 명문화해야 한다고 주장한다. 

반면 미국을 포함한 대부분의 국가들은 기존 국제인도법으로 충분하다는 입장으로, 아직 구속력 있는 새 조약은 없다. 대신 각국은 정치적 선언을 통해 군사용 AI의 책임 있는 사용 원칙을 제시하고 있다. 문제는 이런 선언들이 대부분 법적 구속력이 약하다는 데 있다. 실제 충돌 상황에서는 결국 기존 국제법과 국내 군사 규정이 적용 기준이 된다.

결국 문제는 다시 기술로 돌아온다. 기술이 잘못되어 AI 모델이 잘못된 교전을 수행하거나 교전 지시를 내렸을 때가 문제다. AI 모델은 적대적 입력에 취약하기도 하고, 데이터가 교란되거나 통신이 방해되면 잘못된 표적을 식별할 수 있다.

또한 학습 데이터가 오염되면 특정 패턴을 과도하게 위험으로 인식할 수 있다. AI가 발전한 나라 사이의 전쟁에서는 얼마든지 이런 일이 일어날 수 있고, 전장에서 이런 오판은 거의 대부분의 경우 국제법 위반으로 이어질 수 있다. 

그렇다면 문제가 생겼을 때 책임 주체는 누구일까. 국제인도법이든 국제형사재판소 로마규정이든 책임을 묻는 대상은 전부 자연인이다. 알고리즘이나 모델은 기소 대상이 될 수 없다. 전쟁범죄가 발생하면 수사 대상은 항상 인간이다.

구조를 단계별로 정리하면 아래와 같다.

첫째, 최종 교전 결정을 승인한 지휘관이 1차 책임자이다. AI가 표적을 추천했더라도 방아쇠를 누르는 결정을 승인한 사람이 있다면 그 사람이 국제인도법 위반 여부의 중심에 서게 된다. 

로마규정 제28조의 지휘책임 원칙이 여기 적용된다. “알았거나 알 수 있었는데 방지하지 못했는가”가 기준이기 때문이다.

둘째, 만약 구조상 인간이 형식적 승인만 하고 사실상 AI가 실시간 자동 교전을 수행했다면 그 시스템을 배치하고 승인한 상급 지휘 라인이 문제가 된다. 여기서는 “실질적 통제”가 있었는지가 쟁점으로 작용한다. 통제가 없었다면 오히려 책임이 더 무거워질 수 있는데, 통제하지 못하는 무기를 배치했기 때문이다.

셋째, 극단적인 경우에는 무기체계 승인 단계의 정책 결정자까지 책임 소재가 올라갈 수 있다. 추가의정서 제36조에 따른 무기 검토를 부실하게 했거나 예측 가능한 오작동 위험을 무시했다면 국가 차원의 책임 문제가 되는 것이다. 이렇게 된다면 형사 책임과는 별도로 국가 책임이 발생할 수 있도 있다.

넷째, AI 개발 기업 관계자는 원칙적으로 전쟁범죄의 직접 주체는 아니다. 하지만 알고리즘이 특정 불법 행위를 하도록 설계되었거나 명백한 위험을 인지하고도 고의로 방치했다면 공범이나 방조 책임을 물을 수는 있겠지만 현실적으로는 입증 난도가 매우 높아 대부분의 경우 군이 운용 책임을 지게 된다.

따라서 전쟁에 투입하기 전 AI의 기술적 신뢰성 검증이 항상 법적 의무 이행의 전제 조건이 되어야 하지만 AI의 발전과 전쟁이 동시에 진행되는 상황에서는 이를 깔끔하게 해결할 방법이 사실상 없다. 상황에 따라 그때그때 조치를 취하고 규정을 만드는 땜질식 처방이 계속될 수밖에 없는 이유다.