AI 모델 ‘성적표’ 장악한 챗봇 아레나, 결국 회사 됐다…시험대에 오른 중립성

전 세계 주요 AI 기업들이 자사 모델의 성능을 검증받기 위해 활용해온 벤치마크 플랫폼 ‘챗봇 아레나(Chatbot Arena)’가 독립 법인을 설립했다. 연구 프로젝트로 출발한 해당 플랫폼이 ‘아레나 인텔리전스(Arena Intelligence Inc.)’라는 이름의 회사로 전환되면서 AI 모델 평가의 중심 무대가 새로운 국면에 들어섰다.

현지 시각 17일 공개된 내용에 따르면 챗봇 아레나는 별도 법인 설립을 통해 플랫폼을 대폭 고도화하겠다는 계획을 밝혔다. 

운영진은 그동안 연구자 중심의 프로젝트 구조로는 기술 인프라 확장과 서비스 개선에 한계가 있었다고 판단한 것으로 전해졌다. 회사 형태로 전환하면 개발 인력 확보와 서버 확충, 기능 개선에 필요한 자원을 안정적으로 확보할 수 있다는 설명이다.

챗봇 아레나는 2023년 출범했다. 미국 UC버클리와 연계된 연구진이 주도해 만든 이 플랫폼은 여러 AI 모델을 무작위로 제시하고 사용자들이 어떤 모델이 더 나은 답변을 했는지 선택하는 방식으로 순위를 매긴다. 

참여자는 어떤 기업의 모델인지 알 수 없는 상태에서 응답만 비교한다. 이 과정에서 집단 평가가 누적되면 모델별 점수가 산출되고 순위표가 만들어진다. AI 업계에서는 이를 일종의 ‘대중 투표형 성적표’로 받아들여 왔다.

오픈AI, 구글, 앤트로픽 등 주요 AI 기업들도 자사 최신 모델을 이 플랫폼에 공개해왔다. 대형 모델 출시 직후 챗봇 아레나 순위가 곧바로 시장의 화제가 되는 일이 반복되면서 플랫폼은 사실상 비공식 표준 시험장 역할을 해왔다. 특정 모델이 1위를 차지하면 투자자와 개발자 커뮤니티의 관심이 집중되는 구조다.

그동안 챗봇 아레나는 비영리적 성격에 가까운 방식으로 운영됐다. 구글의 데이터 과학 플랫폼 캐글(Kaggle)과 벤처캐피털 안드리슨 호로위츠, AI 인프라 기업 투게더AI 등으로부터 기부와 지원을 받아왔다. 

다만 독립 회사로 전환한 이후 구체적인 투자자나 수익 모델은 아직 공개되지 않았다. 유료 구독 모델을 도입할지, 기업 대상 데이터 분석 서비스를 제공할지 여부도 정해지지 않은 상태다.

운영진은 법인 전환 이후에도 중립성을 유지하겠다는 방침을 분명히 했다. 외부 이해관계에 영향을 받지 않는 독립적인 평가 공간을 계속 제공하겠다는 것이다. AI 모델의 성능 비교가 하나의 기업 홍보 수단으로 활용되는 만큼 플랫폼의 신뢰도는 곧 산업 전체의 기준으로 작용할 수 있다. 평가 방식이 공정하다는 인식이 무너지면 순위 자체의 의미도 약해진다.

대형 AI 기업들은 신모델을 공개할 때 챗봇 아레나 점수를 적극 인용해왔다. 사용자가 실제로 체감하는 응답 품질을 보여주는 지표라는 점에서 기술 문서보다 직관적이라는 평가를 받는다. 반면 일부에서는 집단 투표 방식이 특정 사용자층의 취향에 치우칠 수 있다는 지적도 제기해왔다.

AI 모델 벤치마크는 원래 정해진 문제 세트를 기반으로 정답률을 측정하는 방식이 주류였다. 그러나 대화형 AI가 확산되면서 정답이 하나로 고정되지 않는 경우가 많아졌다. 

때문에 챗봇 아레나는 사람의 주관적 평가를 집단 지성 형태로 수집해 이를 점수화하는 방식을 택했다. 이 방식은 모델의 창의성이나 자연스러운 표현력 같은 요소를 반영할 수 있다는 장점이 있다.

아레나 인텔리전스는 향후 플랫폼 기능을 대폭 개선하겠다고 밝혔다. 구체적인 계획은 공개하지 않았지만 대규모 사용자 참여를 안정적으로 처리할 수 있는 인프라 확충과 평가 방식의 정교화가 포함될 것으로 예상된다.