기대와 어긋나는 기업들의 AI 도입, 무엇이 문제일까

미국 기업 사회 전반에서 빠르게 확산되던 AI 도입 흐름이 2025년 상반기 들어 둔화 조짐을 보이고 있다. 핀테크 기업 램프(Ramp)가 집계한 거래 데이터에 따르면 기업들의 AI 관련 서비스 이용 비율은 2025년 5월 기준 41% 수준에서 정체됐다. 이는 약 10개월간 이어졌던 상승 흐름이 멈춘 첫 사례다. 

램프는 자사 법인카드와 비용 지급 데이터를 기반으로 AI 서비스 결제 여부를 추적해 기업의 AI 도입률을 산출하고 있다. 특정 AI 기업이나 솔루션을 직접 조사하는 방식이 아니라 실제 돈이 지출됐는지를 기준으로 삼는 구조다.

램프의 AI 인덱스에 따르면 기업 규모에 따라 도입률 차이도 나타났다. 대기업의 AI 도입률은 49%로 절반에 근접했으며 중견기업은 44%, 소기업은 37% 수준에 그쳤다. 규모가 클수록 AI 도입 여력이 크고 내부 실험을 감내할 수 있는 조직 구조를 갖췄다는 점이 수치로 드러난 셈이다. 

다만 이 지표는 약 3만 개 기업의 지출 데이터만을 표본으로 삼고 있어 미국 전체 기업을 대표한다고 보기는 어렵다. 또한 AI 기능이 기존 소프트웨어 요금에 묶여 있거나 다른 비용 항목으로 처리된 경우는 포착되지 않을 가능성도 있다.

그럼에도 기업 현장에서 AI 도입에 대한 기대가 조정되고 있다는 흐름은 여러 사례를 통해 확인되고 있다. 2024년부터 공격적으로 AI 고객 상담 시스템을 도입했던 핀테크 기업 클라르나는 고객 응대 인력을 대규모로 줄였다가 서비스 품질 저하 문제를 겪었다. 

이후 일부 인력을 다시 채용하며 AI가 모든 업무를 대체하기에는 한계가 있다는 점을 내부적으로 인정했다. 고객 문의를 자동으로 처리하는 챗봇이 간단한 질문에는 효과를 보였지만 복잡한 분쟁이나 감정이 개입된 상황에서는 만족도를 유지하지 못했다는 평가가 나왔다.

기업들이 AI를 실제 업무에 적용하는 과정에서 겪는 가장 큰 문제는 생산성 효과의 가시성이다. 생성형 AI는 문서 작성, 요약, 코드 보조 등에서 즉각적인 편의성을 제공하지만 이 효과가 매출 증가나 비용 절감으로 직접 연결되는지를 입증하기는 쉽지 않다. 

파일럿 프로젝트 단계에서는 눈에 띄는 혁신처럼 보였던 기능들이 전사 단위로 확산될 경우 관리 비용과 오류 대응 부담이 함께 커지는 사례도 늘고 있다.

신용평가사 S&P 글로벌이 집계한 자료에 따르면 생성형 AI 파일럿 프로젝트를 대부분 중단한 기업의 비중은 2025년 기준 42%로 집계됐다. 이는 2024년의 17%에서 크게 증가한 수치다. 

파일럿 프로젝트는 본격 도입 이전에 소규모로 효과를 검증하는 시험 단계다. 이 단계에서 상당수 기업이 기대했던 수준의 성과를 확인하지 못하고 프로젝트를 종료했다는 의미다. 단순 실험을 넘어 실제 업무 구조를 바꿀 만큼의 효용을 입증하지 못했다는 평가가 내부에서 내려졌다는 뜻이기도 하다.

AI 도입의 비용 구조 역시 기업들에게 부담으로 작용하고 있다. 대형 언어 모델을 활용한 서비스는 사용량에 따라 비용이 증가하는 구조를 갖고 있다. 

초기에는 소수 부서에서 제한적으로 사용되지만 전사적으로 확산될 경우 비용이 급격히 늘어난다. 특히 고객 응대나 내부 문서 처리처럼 사용 빈도가 높은 업무에 적용할수록 비용 예측이 어려워진다. 이로 인해 일부 기업은 AI 도입 자체를 중단하기보다는 사용 범위를 다시 축소하는 방향을 택했다.

램프의 데이터에서는 특정 AI 기업의 서비스 이용은 여전히 증가세를 유지하고 있다는 점도 함께 나타났다. 특히 대기업 중심으로는 범용 AI 플랫폼을 구독 형태로 도입하는 사례가 이어지고 있다. 

다만 이는 AI를 보조 도구로 배치하는 성격이 강하다. 내부 문서 요약이나 회의 정리처럼 비교적 위험이 낮은 영역에 한정해 사용하는 방식이다. 이에 따라 기업 현장에서는 AI가 할 수 있는 것과 실제로 맡길 수 있는 일의 범위를 구분하려는 시도가 늘고 있다. 

현재는 데이터 보안 문제, 오류 발생 시 책임 소재, 규제 환경 변화 등 비기술적 요소가 의사결정의 주요 기준으로 작용하고 있다. AI가 인간의 판단을 보완하는 도구로는 훌륭하지만 독립적인 업무 주체로 작동하기에는 아직 제약이 많다는 인식이 확산되는 흐름이다.