하루에도 수억 번, 당신 모르게 웹을 훑는 'AI의 눈'

오늘 아침 누군가 특정 뉴스 기사를 읽기 몇 시간 전, 이미 그 페이지를 방문한 존재가 있었다. 당연히 사람은 아니다. AI 기업이 운영하는 크롤러(crawler), 즉 웹을 자동으로 돌아다니며 정보를 수집하는 봇(bot)이다. 이들은 링크를 타고 이동하고, 텍스트를 긁어가고 다시 다른 링크로 떠난다. 흔적은 서버 로그에만 남는다.

인터넷 보안기업 클라우드플레어가 지난해 발표한 보고서에 따르면 2025년 한 해 동안 AI 봇이 사용자 요청에 따라 실시간으로 웹을 탐색하는 이른바 '사용자 구동형 크롤링'이 전년 대비 15배 급증했다. 

구글봇이 여전히 웹 크롤링 시장의 상당 부분을 점유하고 있지만 GPTBot(오픈AI), ClaudeBot(앤트로픽), Bingbot(마이크로소프트) 등 AI 기업 소속 봇들의 비중이 빠르게 늘고 있다.

크롤러가 작동하는 방식은 간단한 원리에서 출발한다. 하나의 URL을 시작점으로 삼아 해당 페이지의 HTML 코드를 내려받고, 그 안에 포함된 다른 링크들을 추출한 뒤 그 링크들을 다시 방문한다. 이 과정을 반복하면 웹 전체로 퍼져나갈 수 있다. 사람이 하이퍼링크를 클릭하는 것과 같지만 속도가 수천 배 빠르고 쉬지 않는다.

대형 AI 기업들은 이 과정을 수천 대의 서버로 동시에 처리한다. 한 서버가 뉴스 기사를 긁는 동안 다른 서버는 블로그를, 또 다른 서버는 학술논문을 수집한다. 이렇게 모인 데이터가 AI 언어모델 학습의 원재료가 된다.

최근에는 기계적으로 데이터를 긁어가는 수준을 넘어선 봇도 등장했다. '에이전틱 브라우저(agentic browser)'라 불리는 AI 에이전트는 실제 사람처럼 브라우저를 열고, 검색창에 질문을 입력하고, 결과 페이지를 읽고, 필요하면 다음 페이지 버튼을 클릭하는 일련의 행동을 스스로 수행한다.

예를 들어 사용자가 AI에게 "서울에서 가장 평점 높은 이탈리안 레스토랑 세 곳을 찾아줘"라고 요청하면 AI는 검색 엔진을 열고, 여러 리뷰 사이트를 차례로 방문하고, 각 식당의 평점과 위치를 비교한 뒤 답변을 생성한다. 이 모든 과정이 사용자 눈에 보이지 않는 곳에서 실시간으로 진행된다.

디지털오션과 임페르바 등 클라우드·보안 기업들은 이 같은 에이전틱 AI가 2025년을 기점으로 기업 서비스에 본격 도입되기 시작했으며 2026년에는 자율 웹 탐색 기능이 AI 서비스의 핵심 기능으로 자리 잡았다고 분석했다.

문제는 이 봇들이 웹사이트 운영자 입장에서 반갑지 않은 손님이라는 점이다. 컴퓨터월드가 보안기업 패스틀리(Fastly)의 데이터를 인용해 보도한 바에 따르면 AI 크롤러의 무차별적 접근이 일부 중소형 웹사이트의 서버를 마비시키는 수준의 트래픽을 유발하고 있다. 

광고 수익으로 운영되는 독립 미디어나 개인 블로그는 특히 취약하다. 콘텐츠는 AI 학습에 쓰이지만 그 대가는 전혀 없다. 클라우드플레어가 분석한 또 다른 데이터는 이 괴리를 수치로 보여준다. AI 봇은 웹사이트를 대량으로 크롤링하지만 실제로 해당 사이트에 사람 방문자를 유입시키는 비율은 극히 낮다. 

검색 엔진 봇은 크롤링 후 검색 결과를 통해 트래픽을 돌려보내지만 AI 챗봇용 봇은 답변 생성에만 데이터를 쓰고 원본 사이트 링크를 노출하지 않는 경우가 많다.

웹사이트 운영자들이 봇의 접근을 제한하기 위해 오래전부터 써온 방법은 robots.txt 파일이다. 웹사이트 최상단 주소에 두는 이 텍스트 파일에 "어떤 봇은 들어오지 마라", "어느 경로는 수집하지 마라"는 규칙을 적어두면 규약을 준수하는 봇은 이를 따른다. 그러나 악의적이거나 규약을 무시하는 봇에게는 아무 효력이 없다.

2025년부터는 llms.txt라는 새로운 파일 형식이 논의되기 시작했다. AI 언어모델이 웹사이트 내용을 더 잘 이해할 수 있도록 사이트 운영자가 직접 핵심 정보를 정리해 두는 파일이다. 

사람이 읽기 위한 웹페이지와 별개로 AI만을 위한 요약본을 따로 제공하는 셈이다. 웹 개발 도구 기업 민트리파이와 링크빌딩HQ 등은 이 표준의 도입 여부가 AI 검색 시대의 SEO, 즉 검색 노출 전략에 새로운 변수가 됐다고 분석했다.

마이크로소프트는 한발 더 나아가 'NLWeb'과 'MCP(모델 컨텍스트 프로토콜)'라는 기술을 통해 웹사이트가 AI 에이전트의 요청에 구조화된 방식으로 응답할 수 있는 표준을 제안하고 있다. 음식점 메뉴, 상품 재고, 예약 가능 시간 같은 정보를 AI가 읽기 쉬운 형태로 제공하는 일종의 'AI 전용 창구'를 웹사이트마다 만들자는 개념이다.

현재 웹을 돌아다니는 주요 AI 봇에는 오픈AI의 GPTBot과 ChatGPT-User, 앤트로픽의 ClaudeBot, 메타의 Meta-ExternalAgent, 애플의 Applebot-Extended, 퍼플렉시티의 PerplexityBot 등이 있다. 보안기업 HUMAN 시큐리티가 정리한 2026년 봇 목록에는 이 외에도 수십 종의 AI 관련 봇이 포함된다. 

각 봇은 고유한 '유저 에이전트(user agent)' 문자열, 즉 자신이 누구인지를 서버에 알리는 신분 태그를 가지고 있다. 그러나 이 태그는 봇 스스로 조작할 수 있어 완전한 신뢰 수단은 아니다.

MIT가 2026년 2월 발표한 AI 에이전트 인덱스 보고서는 현재 공개된 AI 에이전트 시스템만 수백 개에 달하며 이들이 웹 탐색, 코드 실행, 파일 조작 등 다양한 자율 작업을 수행할 수 있는 기술 수준에 이르렀다고 기록했다.

MIT 테크놀로지 리뷰는 이 상황을 "크롤러 전쟁"이라 표현했다. AI 봇의 무단 수집에 맞서 뉴욕타임스 등 주요 언론사와 레딧, 위키피디아 같은 대형 플랫폼이 봇 차단 정책을 강화하거나 AI 기업과 데이터 사용료 협상에 나서고 있다. 

일부 사이트는 아예 로그인 없이는 콘텐츠를 볼 수 없도록 문을 닫았다. AI가 학습할 수 있는 공개 웹의 범위가 좁아지고 있다는 뜻이다. 보안 기업 썬더빗이 2026년 2월 발표한 통계에 따르면 전체 웹 트래픽 중 봇이 차지하는 비율은 절반에 육박한다. 사람보다 봇이 더 많이 인터넷을 쓰는 시대가 이미 시작됐다.