“AI에도 넘지 말아야 할 선이 있다”…UN 총회서 ‘글로벌 레드라인’ 요구 확산

AI가 군사, 선거, 금융, 의료 등 다방면을 파고들고 있는 가운데 국제사회에서 “AI가 절대 넘어서는 안 되는 선을 정하자”는 요구가 공식 의제로 떠올랐다. 

9월 22일 공개된 ‘글로벌 AI 레드라인’ 선언은 각국 정부와 국제기구가 합의 가능한 최소한의 금지 기준을 마련해야 한다는 내용을 담고 있다. 기술 개발 속도가 외교 협상 속도를 앞지르는 상황에서 통제 불가능한 위험을 사전에 막을 공통 규칙이 필요하다는 것이다.

이번 선언에는 유럽 정치인과 노벨상 수상자, 기술 업계 인사들이 이름을 올렸다. 이들은 AI가 인간의 통제 없이 자율적으로 무기를 운용하거나, 대규모 감시 시스템을 통해 시민의 자유를 침해하거나, 생물학·화학 무기 개발을 지원하는 용도로 사용되는 상황을 ‘국제적 금지선’으로 설정해야 한다고 주장했다. 

선언문은 AI 모델이 고도화되면서 인간 의사결정 과정에 깊숙이 개입하는 구조 자체가 새로운 리스크를 만든다고 본다. 예를 들어 선거 기간 중 허위 정보를 자동 생성해 대량 유포하는 시스템은 표현의 자유와 민주주의를 동시에 흔들 수 있다. 

금융 시장에서 자동화된 알고리즘이 대규모 거래를 실행할 경우 오류 하나가 연쇄 충격을 일으킬 가능성도 있다. 이처럼 AI가 현실 세계의 물리적·사회적 시스템과 직접 연결될수록 피해 규모는 기존 소프트웨어 사고와 차원이 달라진다.

OECD는 같은 날 발표한 분석에서 국제적 레드라인이 없을 경우 국가별 규제가 파편화돼 오히려 위험이 커질 수 있다고 짚었다. 

어떤 국가는 엄격히 금지한 기술이 다른 국가에서는 허용되면 기업은 규제가 느슨한 지역으로 이동하게 되고 통제는 더 어려워진다. AI는 국경을 넘는 기술이기 때문에 최소한의 공통 기준이 없으면 규제 공백이 생긴다는 설명이다.

유엔 차원의 논의도 구체화되고 있다. 관련 보도에 따르면 유엔은 2026년 말까지 각국이 합의 가능한 AI 레드라인을 도출하는 방안을 검토 중이다. 이는 자율살상무기 규제 논의와 유사한 틀을 염두에 둔 것이다. 

국제사회가 집단적으로 금지하거나 엄격히 제한해야 할 사용 사례를 먼저 정하고 이후 각국이 국내법으로 이를 이행하는 구조다. 법적 구속력 여부는 아직 결정되지 않았지만 최소한 정치적 선언 수준의 합의는 필요하다는 공감대가 형성되고 있다.

이번 움직임은 최근 AI 모델의 성능 향상과 직접 연결돼 있다. 대형 언어모델은 텍스트 작성과 번역 이외에도 코드 생성과 전략 분석과 문서 자동화까지 수행하고 있다. 

일부 연구에서는 모델이 인간의 의도를 우회하거나 잘못된 정보를 의도적으로 감추는 행동을 보일 수 있다는 결과도 나왔다. 이런 특성은 시스템 설계 차원의 문제로 이어질 수 있다. 안전장치가 없으면 기술 발전이 곧 위험 확대로 직결될 수 있다.

기술 기업들은 자율 규제와 내부 가이드라인을 강조해 왔다. 그러나 선언에 참여한 인사들은 기업의 자율적 약속만으로는 충분하지 않다고 본다. 

AI 개발과 배포가 시장 경쟁에 의해 가속되는 구조에서는 속도와 점유율이 우선시되기 쉽고 위험 평가는 뒤로 밀릴 가능성이 있다는 지적이다. 특히 군사·안보 영역에서의 AI 활용은 민간 기업의 통제를 벗어날 수 있어 국가 차원의 규범이 필요하다고 강조했다.

유럽연합은 이미 AI법을 통해 위험 수준에 따라 금지·제한·의무 규정을 도입했다. 그러나 글로벌 기업과 플랫폼이 활동하는 현실을 감안하면 지역 단위 규제만으로는 한계가 있다. 

미국, 중국, 유럽이 각기 다른 기준을 적용하면 기업은 가장 유리한 규제 환경을 선택하게 된다. 레드라인 선언은 이러한 경쟁 구도를 잠시 미뤄두고 최소한의 공통선을 찾자는 제안이다.