AI가 만든 이미지와 영상을 AI로 판별하는 웃지 못할 기술

(사진 출처: Gemini AI 생성 이미지)

최근 인터넷에 유통되는 이미지와 영상의 상당수가 생성형 AI로 제작되면서 해당 콘텐츠가 AI로 만들어졌는지를 자동으로 판별하는 기술이 주요 플랫폼과 기술 기업을 중심으로 도입되고 있다. 

AI 멀티미디어 생성 기술만큼이나 역설적으로 AI가 생성한 멀티미디어를 감지하는 기술이 중요해진 셈인데, 과연 AI는 어떻게 AI로 만든 그림을 알아볼까. 관련된 기술들은 생성 단계에서 출처 정보를 남기는 방식과 완성된 콘텐츠를 분석하는 방식으로 나뉘어 발전하고 있다.

가장 먼저 도입된 방식은 일종의 원시적 확인 절차로, 콘텐츠 생성 시점에 출처 정보를 함께 기록하는 기술이다. 이 방식은 이미지나 영상 파일에 제작 도구, 생성 시각, 편집 이력 등을 메타데이터 형태로 포함시키고 암호학적 서명을 통해 위·변조 여부를 확인하도록 설계돼 있다. 

해당 기술의 대표적 표준으로는 C2PA가 있다. C2PA는 언론사, 플랫폼 기업, 소프트웨어 업체가 공동으로 개발한 콘텐츠 출처 표준으로 파일에 포함된 ‘콘텐츠 자격증명(Content Credentials)’을 통해 제작 이력을 확인할 수 있도록 한다. 

이 정보는 콘텐츠가 편집되거나 재저장될 경우 변경 내역이 함께 기록되는 구조로 설계되어 있다.

다만 완벽한 것은 아니다. 얼마든지 이러한 조치를 우회할 수 있기 때문이다. 그래서 이와 함께 생성형 AI 기업들은 이미지와 영상에 사람이 인지하기 어려운 신호를 삽입하는 워터마킹 기술을 적용하고 있다. 

이 방식은 콘텐츠 내부의 픽셀이나 프레임에 통계적 패턴을 삽입하고 전용 검출기를 통해 해당 패턴의 존재 여부를 확인하는 구조다. 구글 딥마인드는 자사 생성형 AI 모델에서 만들어진 이미지와 영상에 ‘SynthID’ 워터마크를 적용하고 있으며 해당 워터마크를 검사할 수 있는 기능을 사용자용 애플리케이션에 포함시켰다. 

SynthID는 이미지가 리사이즈되거나 일부 편집된 경우에도 일정 수준의 검출이 가능하도록 설계됐다. 일종의 자사 AI로 만든 제품들에 모두 포함되어 있는 낙인인 셈이다.

콘텐츠 제작 도구를 제공하는 기업들도 출처 표시 기능을 기본 탑재하고 있다. 어도비는 자사 이미지·영상 편집 소프트웨어에 콘텐츠 자격증명 표시 기능을 적용해 사용자가 파일을 열 때 제작 도구와 편집 여부를 확인할 수 있도록 하고 있다. 

이 기능은 C2PA 표준을 기반으로 작동하며 별도의 서버를 통하지 않고 파일 자체에 정보가 포함되는 구조를 사용한다.

한편 별도의 출처 정보가 포함되지 않은 콘텐츠에 대해서는 이미지와 영상 자체를 분석하는 방식이 사용된다. 대부분의 AI 이미지는 이 방식으로 걸러지는데, 이 방식은 픽셀 분포, 색상 채널 간 관계, 압축 흔적, 주파수 영역의 반복 패턴 등을 분석해 생성형 AI 특유의 통계적 특징을 찾는다. 

해당 분석에는 합성곱신경망(CNN)이나 비전 트랜스포머(ViT) 기반의 분류 모델이 활용된다. 이 기술은 메타데이터가 제거되거나 워터마크가 없는 경우에도 적용할 수 있으나 이 역시 AI로 만든 이미지를 캡처하거나 포토샵으로 변형시키는 경우 정확도가 떨어질 수 있다.

생성형 AI 개발사들도 자체적인 탐지 기술을 병행하고 있다. 오픈AI는 이미지 생성 과정에서 출처 정보를 포함하는 방식과 함께 AI 생성물 탐지 모델을 동시에 운영하고 있다. 

해당 모델은 이미지의 시각적 특징과 내부 통계 구조를 기반으로 생성 여부를 확률 형태로 산출한다. 이 방식은 워터마크가 없는 경우를 대비한 보조 수단으로 활용되고 있다.

영상 분야에서도 유사한 기술이 적용되고 있는데, 프레임 단위로 워터마크를 삽입하거나 영상 전체의 압축 구조와 움직임 패턴을 분석해 생성 여부를 판단하는 방식이 사용된다. 일부 플랫폼은 업로드된 영상에 대해 자동 검사를 수행하고, AI 생성 콘텐츠일 경우 이를 표시하는 기능을 제공하고 있다. 

플랫폼 차원의 검증 도구도 확대되고 있다. 검색 서비스와 소셜미디어 플랫폼은 사용자가 이미지를 업로드하거나 검색할 때 해당 콘텐츠의 출처 정보를 함께 확인할 수 있는 인터페이스를 도입하고 있다. 

검증 결과는 ‘AI 생성’, ‘출처 정보 없음’ 등의 형태로 표시되며 원본 제작 도구와 편집 이력이 함께 제공되는 경우도 있다.

이와 같은 기술들은 단일 방식으로는 100% 정확한 판단이 불가능하기 때문에 생성 시점의 서명 정보, 워터마크 검출, 이미지·영상 자체 분석 결과를 함께 활용해 판별 정확도를 높이는 다층 구조가 대부분이다. 

AI가 생성한 멀티미디어가 사회적으로 불러올 많은 부작용이 예고되어 있는 만큼, 치열한 창과 방패의 싸움은 앞으로도 지속될 전망이다.