[법과제도]AI가 철저하게 막는 것들, 기술 뒤에서 벌어지는 윤리 전쟁

AI가 사진을 만들고 글을 쓰는 기술은 빠르게 일상 속으로 파고들었지만 그만큼 “AI가 하면 안 되는 일”도 함께 늘고 있다. 2025년 들어 가장 거센 파장은 성적 이미지 생성과 관련된 논란이다. 

특히 미성년자를 대상으로 한 합성 이미지가 실제 범죄와 동일하게 다뤄지기 시작했고 연예인과 일반인을 대상으로 한 비동의 딥페이크가 확산되면서 AI 기업들은 기술적 통제에 사실상 사활을 걸고 있다. 이런 흐름은 법과 규제, 그리고 다종다양한 소송이 한꺼번에 밀려오는 현실과 연결되어 있어 기업들이 뒤로 물러날 여지가 거의 없다.

가장 위험한 영역은 미성년자 성착취물이다. 생성형 AI가 등장한 뒤 실제 아동이 등장하지 않아도 가짜 이미지를 손쉽게 만들어낼 수 있게 됐고 미국과 유럽 수사기관은 이런 이미지도 실제 범죄와 동일하게 간주하기 시작했다. 

영국은 2025년 초부터 AI로 만든 아동 성착취물에 대해 별도의 법적 처벌 조항을 적용하기 시작했다. 신고 건수도 급증했고, 국제단체들은 “가짜 이미지라도 협박과 착취에 악용된다”는 보고서를 연달아 내놓았다. 이런 상황에서 AI 서비스를 운영하는 기업이 규제를 느슨하게 가져갈 이유는 없다.

연예인과 일반인을 대상으로 한 비동의 딥페이크 문제도 본격적으로 법정 싸움에 들어간 모습이다. 미국에서는 미성년자 사진을 이용해 합성 누드를 만들어 유포한 사건에서 피해자가 툴 제작사와 플랫폼까지 함께 고소하는 일이 벌어졌다. 

“도구를 만든 회사도 책임이 있다”는 주장이다. K팝 아이돌의 얼굴을 합성한 이미지가 SNS에서 급속히 퍼지면서 해외 매체들이 이 문제를 보도하는 일도 잦아졌다. 기업 입장에서는 기술 홍보보다 위험 부담이 훨씬 크다.

이와 더불어 규제도 날이 갈수록 강화되는 모습이다. 유럽연합은 AI를 설계할 때 아예 불법 콘텐츠가 만들어지지 않도록 기술적 장치를 넣으라고 요구한다. 여기서 말하는 불법 콘텐츠에는 성적 이미지뿐 아니라 폭력, 혐오, 테러 조장 등이 모두 포함된다. 이를 제대로 막지 못하면 매출의 일정 비율을 벌금으로 물릴 수 있다는 조항도 들어갔다. 

이렇다 보니 AI 기업들이 윤리 논쟁에 예민하게 반응하는 이유는 실제 돈과 계약이 걸려 있기 때문이라는 요소도 있다. 학교나 병원, 공공기관에서 AI 도구를 쓰려면 “이 서비스가 위험한 콘텐츠를 만들 수 있다”는 오해가 끼어드는 순간 계약 자체가 끊긴다.

그렇다면 AI는 기술적으로 이런 내용을 어떻게 막고 있을까. 첫 단계는 ‘무엇을 위험한 콘텐츠로 볼 것인가’를 정의하는 일이다. 기업들은 성적 이미지와 아동 관련 묘사, 폭력, 자해, 사기 등을 여러 등급으로 나누고 각각에 이름표를 붙인다. 

모델이 하지 말아야 할 행동을 목록으로 정해두는 것이다.

두 번째 단계는 감시 전담 모델을 따로 만드는 방식이다. 본래의 AI 모델과는 달리 사용자가 입력한 문장과 AI가 만들어낸 문장을 전용 필터 모델이 먼저 읽어본다. 

여기서 위험 신호가 보이면 아예 본 모델로 전달되지 않거나 출력 결과가 삭제된다. 사진 생성 서비스는 이 절차를 한 번 더 반복한다. 텍스트가 필터를 통과하더라도 실제 생성된 이미지를 또 다른 탐지 모델들이 살핀다. 나체인지 아동인지 의료 사진인지 구분하는 모델을 여러 개 겹쳐 두는 구조다.

세 번째는 우회 프롬프트 대응이다. 사용자는 금지된 내용을 직접 말하지 않고 돌려 말하거나 지시를 쪼개서 전달하는 방식으로 필터를 피하려 한다. 

이에 맞서 기업들은 실제 사용자들이 시도한 우회 문장을 수집해 “이런 방식도 위험 의도를 숨기는 표현”이라는 패턴을 AI가 익히게 한다. 반복 훈련을 거치면서 모델은 표현 자체보다 ‘의도’를 감지하도록 만들어진다.

네 번째는 미성년자 보호를 위한 별도 안전장치다. 사진 해시라는 디지털 지문 방식을 활용해 국제단체의 데이터베이스와 이미지가 일치하는지 즉시 확인하고 문제가 있으면 자동 차단한다. 

최근에는 AI가 만든 가짜 아동 이미지도 실제와 구분하지 않고 같은 방식으로 탐지하려는 기술이 개발되고 있다. 서비스 가입 단계에서 성인 인증을 요구하거나 청소년 계정은 위험한 대화를 아예 시작하지 못하도록 하는 장치도 붙는다.

마지막 단계는 플랫폼 차원의 감시다. 특정 계정이 하루 수백 번씩 NSFW(Not Safe For Work, 폭력적이거나 성적인 콘텐츠) 이미지를 시도하거나 VPN을 여러 번 갈아타며 새로운 계정을 만들면 자동으로 이상 행동으로 분류된다. 기업들은 이 데이터를 토대로 위험 패턴을 갱신하고 필터 모델을 다시 학습시킨다.

AI 윤리 논쟁은 결국 기술이 어디까지 허용될 수 있는가라는 질문과 연결돼 있다. 성인 간 표현을 일정 범위에서 허용하는 움직임도 생기고 있지만 미성년자나 범죄로 이어질 가능성이 있는 요소에 대해서는 더 강한 필터가 요구되고 있다. 

기술은 더 정교해지고 있지만 그만큼 감시 장치가 조여지는 속도도 빠르다는 점이 현재의 상황을 가장 잘 설명한다. 이와 같은 창과 방패의 싸움은 앞으로도 매우 오랜 기간 동안 지속될 예정이다.