MIT의 생성형 AI 연구, 기업 AI 투자의 95%가 실패하는 이유

MIT가 전 세계 기업들의 생성형 AI(Gen AI) 도입 현황을 분석한 결과 수십억 달러 규모의 투자에도 불구하고 실제 성과를 내는 사례는 5%에 불과하다는 충격적인 조사 결과가 나왔다. MIT가 발표한 ‘The Gen AI Divide State of AI in Business 2025’ 보고서는 300건의 기업 AI 도입 사례를 면밀히 검토한 끝에 극명한 성과 양극화를 확인했다고 밝혔다. 

연구진은 성공 기업과 실패 기업의 차이가 모델의 품질이나 규제 문제가 아니라 현장에 맞춘 업무 통합 여부에 달려 있다고 설명했다. 즉 기술의 수준보다 어떻게 운영에 녹여내느냐가 관건이라는 지적이다.

보고서에 따르면 글로벌 기업들의 생성형 AI 투자 규모는 300억~400억 달러에 달했지만 무려 95%는 수익으로 이어지지 않았다. 반면 챗GPT와 마이크로소프트 Copilot 같은 범용 툴은 80% 이상의 기업이 탐색했고 40%가 실제 배포까지 진행했다. 

그러나 이런 툴은 조직 전체 성과보다는 개별 직원의 업무 효율성에 그치는 경우가 많아 한계가 명확하다는 평가다.

기업 맞춤형 AI는 상황이 더 냉혹하다. 60%의 기업이 검토에 들어갔지만 파일럿 단계에 오른 경우는 20%에 불과했고 실제 운영에 안착한 비율은 5%에 그쳤다. 연구진은 경직된 업무 흐름, 기존 시스템과의 충돌, 현장 직원들이 체감할 수 없는 도구 설계가 주요 실패 요인이라고 분석했다.

보고서는 또 승인되지 않은 AI 활용이 퍼져나가는 이른바 ‘그림자 AI 경제’를 지적했다. 응답 기업의 90% 이상에서 직원들이 개인 구독으로 AI 툴을 도입해 쓰고 있었으나 기업 차원의 공식 구독은 40%에 그쳤다. 

한 로펌 변호사는 회사가 5만 달러를 들여 계약 분석 도구를 도입했지만 자신은 ChatGPT를 더 자주 사용한다고 밝혔다. 원하는 방식으로 반복 수정이 가능해 훨씬 유연하다는 이유였다. 다만 그는 중요한 문서 검토나 고객 맞춤형 업무에서는 학습과 축적이 가능한 시스템이 필요하다고 선을 그었다.

또 다른 조사에서는 직원 70%가 단순하고 빠른 과업에는 AI를 선호했지만 장기간 집중과 판단이 필요한 프로젝트에서는 90%가 사람을 더 신뢰한다고 답했다. 이는 AI가 아직 조직 차원의 경험 축적과 상황 적응 능력에서 한계를 드러내고 있음을 보여준다는 해석이다.

외부 협력 여부도 성패를 갈랐다. 벤더와 협력한 기업의 67%가 성공적으로 운영에 안착했지만 내부 개발에 의존한 기업의 성공률은 절반 수준인 33%에 머물렀다. MIT는 기업들이 AI를 단순 소프트웨어가 아니라 비즈니스 서비스로 인식하고 깊은 맞춤화와 명확한 성과 지표를 요구할 때 성공 가능성이 높아진다고 분석했다.

보고서는 생성형 AI와 관련해 널리 퍼진 다섯 가지 오해도 짚었다. AI가 곧 대규모 일자리를 대체할 것이라는 주장은 특정 산업에 국한된 현상이며 기업이 느리게 도입한다는 인식도 사실과 다르다고 강조했다. 또 모델 품질이나 규제가 가장 큰 걸림돌이라는 시각 역시 잘못이며 실제 문제는 통합 실패라고 지적했다. 아울러 성공하는 툴이 스스로 자리 잡는다는 믿음도 틀렸으며 맞춤형 통합 없이는 성과를 내기 어렵다고 설명했다.

성공 기업들은 빠른 실행으로 차별화를 이루어냈다. 그 결과 연간 200만~1000만 달러에 이르는 절감 효과를 거두며 외부 의존 비용과 리스크 관리 비용을 크게 줄였다. 최고 성과 그룹은 90일 안에 도입을 마쳤지만 일반 기업은 평균 아홉 달 이상 소요됐다. 

한편 투자 배분에서도 왜곡이 발견됐다. 기업들은 예산의 절반을 영업과 마케팅에 쏟았으나 자동화 효과가 더 큰 백오피스 영역은 소외됐다. MIT는 보고서의 결과를 토대로 기업이 AI 벤더를 동등한 파트너로 대하고 각 기업의 환경에 맞는 맞춤형 솔루션을 구축해야만 진정한 성과를 낼 수 있다고 강조했다.