"AI 없이는 일 못 한다"는 개발자들, 코드 품질은 거꾸로 간다?

올해 들어 소프트웨어 개발자들이 AI 코딩 도구를 손에서 놓지 못하고 있다. 그러나 AI가 코드를 빨리 만들어줄 뿐 더 좋은 코드를 만들어주지는 않는다는 연구가 잇따르면서 우려가 커지고 있다.

AI 안전성을 연구하는 비영리기관 METR는 지난해 한 가지 실험을 했다. 오픈소스 소프트웨어를 오래 다뤄온 숙련 개발자들에게 같은 작업을 AI를 쓸 때와 쓰지 않을 때로 나눠 시키고 걸린 시간을 잰 것이다. 개발자들은 AI가 작업 시간을 24% 줄여줄 것으로 예상했고 실험을 마친 뒤에도 20%가량 빨라졌다고 느꼈다. 

그러나 실제 측정 결과 AI를 쓴 작업이 오히려 19% 더 오래 걸렸다. AI가 코드를 빠르게 뱉어내긴 하지만 개발자가 그 결과물에서 오류를 찾아 고치고 방향을 다시 잡고 응답을 기다리는 데 시간이 더 들었기 때문이다.

METR는 올해 이 실험을 되풀이해 그동안의 AI 발전을 측정하려 했지만 실패했다. 연구진은 짧은 실험에서조차 AI 없이 일하기를 원치 않는다는 이유로 참여를 거부하는 개발자가 크게 늘었다고 밝혔다. 

결국 METR는 5월 기술직 종사자가 스스로 생산성 향상을 보고하는 설문으로 방향을 틀었다. 응답자들은 AI 덕분에 자신의 가치가 두 배가 됐다고 답했다.

이런 자기 평가를 의심케 하는 정황은 곳곳에서 나온다. 올해 IT 업계의 화두는 '토큰맥싱'이었다. 토큰은 AI가 글이나 코드를 잘게 쪼개 처리하는 최소 단위로 사용량을 재는 기준이 된다. 토큰맥싱은 토큰을 많이 쓸수록 생산성이 높다고 보는 분위기를 가리킨다.

아마존은 직원들의 AI 사용량을 점수로 매겨 순위를 보여주는 내부 순위표 '키로랭크'를 운영했다. 그러나 직원들이 점수를 높이려 AI에 불필요한 작업을 잔뜩 시키며 비용만 키우자 이를 없앴다. 

파이낸셜타임스(FT) 보도에 따르면 아마존의 한 고위 임원은 이 순위표가 좋은 의도로 만들어졌지만 발생하는 비용이 너무 컸다고 설명했다. 사용량이 많다고 생산성이 오르는 것은 아니라는 점이 드러난 셈이다.

우버는 올해 책정한 AI 예산을 4개월 만에 모두 써버렸다. 앤드루 맥도널드 최고운영책임자(COO)는 한 팟캐스트에서 이런 지출이 측정 가능한 성과나 생산성 증가로 이어지지 않았다고 말했다.

AI가 만든 코드가 유지보수 부담을 줄여주기는커녕 오히려 늘린다는 지적도 나온다. 프로그래머이자 작가인 제임스 쇼어는 블로그에서 코드를 두 배 빨리 짠다면 유지보수 비용도 절반으로 줄여야 하며 그러지 못하면 일시적 속도 향상을 영구적인 부채와 맞바꾸는 것이라고 주장했다. 

모든 코드는 만들어진 뒤에도 버그 수정과 정리 갱신 같은 관리가 계속 필요하기 때문이다.

코드 검토 도구 회사들이 내놓은 수치도 있다. 신뢰성 엔지니어링 스타트업 엔텔리전스AI의 아이스와리아 산카르 대표는 기업들이 AI가 만들어낸 버그를 고치는 데 전체 토큰의 44%를 쓴다고 밝혔다. 코드 검토 도구 회사 코드래빗은 오픈소스 코드를 분석한 결과 AI가 사람보다 1.7배 많은 문제를 만들어낸다고 발표했다. 

다만 이들은 AI 코드 검토 도구를 파는 업체로 자사에 유리한 통계라는 한계가 있다.

독립 연구에서도 비슷한 결과가 나왔다. 싱가포르경영대(SMU) 연구진은 4월 펴낸 보고서에서 AI가 만든 코드가 실제 소프트웨어 프로젝트에 장기적인 유지보수 비용을 안긴다고 경고했다.

그렇다면 해법은 무엇인가. AI 코딩 도구를 파는 쪽은 AI가 쏟아내는 코드를 또 다른 AI로 고치면 된다고 말한다. AI 코딩 에이전트 '데빈'을 만든 코그니션의 스콧 우 대표가 대표적이다. 다만 그조차 데빈이 혼자 작업할 수는 있어도 그 실력은 작업에 따라 신입과 중급 개발자 사이라고 인정했다.

SMU 연구진은 더 사람 중심의 접근을 제안했다. 개발자가 자신이 다루는 프로그래밍 언어를 알듯 AI가 무엇을 잘하고 못하는지 깊이 알아야 하며 AI에 맞춘 품질 관리 체계를 갖추고 신입의 결과물을 검토하듯 꼼꼼히 살펴야 한다는 것이다. 소프트웨어 설계와 보안 같은 큰 그림은 여전히 사람의 몫이라는 데 우 대표도 동의했다.