정답 대신 '푸는 과정' 채점한다…해커랭크 AI 면접관 '차크라' 정식 출시

개발자 채용 평가 플랫폼 해커랭크가 AI가 직접 면접을 진행하고 지원자를 채점하는 AI 면접관 서비스 '차크라(Chakra)'를 정식 출시했다. 지원자가 문제를 푸는 동안 AI가 작업 과정을 지켜보며 질문을 던지고 결과물뿐 아니라 답에 이르는 사고 과정까지 평가하는 방식이다.

해커랭크는 미국 현지시간 5일 약 6개월간의 베타 테스트를 마치고 차크라를 전체 고객사에 공개했다. 베타 테스트는 정식 출시 전 일부 이용자에게 제품을 먼저 써보게 하는 시험 운영 단계를 말한다. 

회사에 따르면 이 기간 차크라가 진행한 면접은 50만건을 넘는다. 스노우플레이크와 스노클 그리고 캡제미니 등이 시험 사용에 참여했고 해커랭크도 사내 채용에 직접 써봤다.

차크라 면접은 전통적인 코딩 시험보다 실제 업무에 가깝게 설계됐다. 지원자는 실제 서비스와 같은 형태의 코드 저장소(리포지토리)를 받아 과제를 수행한다. 리포지토리는 프로그램을 이루는 소스코드 파일과 수정 이력을 한곳에 모아둔 공간이다. 지원자는 AI 어시스턴트가 함께 들어 있는 작업 화면에서 문제를 푼다. 

차크라는 지원자의 작업 맥락을 파악해 왜 특정 방식을 택했는지 묻거나 새로운 조건이 추가되면 해법이 어떻게 달라지는지 묻는다. 면접이 끝나면 채용 담당자에게 세부 평가 보고서가 전달된다.

해커랭크가 측정하려는 것은 정답 여부 너머의 역량이다. 비판적 사고와 판단력 그리고 회사가 'AI 활용 능력(AI fluency)'이라 부르는 항목이 대표적이다. AI 활용 능력은 AI에 문제를 얼마나 명확하게 설명하고 AI가 내놓은 결과물을 제대로 검증하며 원하는 해법 쪽으로 AI를 이끌어가는지를 따지는 개념이다. 

비벡 라비샨카르 해커랭크 공동창업자 겸 최고경영자(CEO)는 과거 채용 평가가 결과물만 봤지만 이제는 AI 덕분에 누구나 결과물을 만들 수 있게 됐다고 설명했다. 기업 입장에서는 결과물 뒤에 있는 사고와 판단을 읽어낼 수 있는지가 관건이 됐다는 것이다.

채용 절차도 줄어든다. 라비샨카르 CEO에 따르면 기존에는 채용 담당자의 1차 면접과 집에서 푸는 과제형 평가 그리고 엔지니어와의 후속 면접 등 세 단계를 거쳤다. 차크라는 이를 한 번의 면접으로 합친다.

면접 중 AI 사용을 허용하면 부정행위가 늘 것이라는 예상과 다른 결과도 나왔다. 해커랭크는 차크라 면접에서 의심 행위 경고가 기존 해커랭크 평가보다 70~80% 적게 나왔다고 밝혔다. 이 수치는 지역과 지원자 경력 수준에 따라 차이가 있었다. 

라비샨카르 CEO는 처음부터 AI를 쓸 수 있게 하면 지원자가 몰래 외부 도구로 답을 받아볼 동기가 줄어든다고 분석했다.

면접 부정행위는 업계의 현안이다. AI 면접 플랫폼 패브릭이 지난해 7월부터 올해 1월까지 진행된 면접 1만9368건을 분석한 결과 지원자의 38.5%에게서 부정행위 징후가 포착됐다. 면접 화면 위에 상대방에게 보이지 않는 창을 띄워 실시간으로 답을 알려주는 '클루리' 같은 보조 도구가 등장한 영향이다.

해커랭크는 차크라에 감시 기능도 꾸준히 추가해왔다. 지난 7월 업데이트에서 면접 안에서 코드를 직접 작성하고 실행하는 코드 편집기를 넣었다. 

지원자가 두 번째 모니터를 연결하거나 화면을 공유 또는 전체 화면에서 벗어나면 면접이 자동으로 멈춘다. 전용 데스크톱 앱은 화면을 잠그고 허가되지 않은 프로그램 실행을 막는다. 지원자가 시선을 반복해 다른 곳으로 돌린 뒤 다시 타이핑하는 패턴을 잡아내는 시선 감지 기능도 일부 고객에게 제공 중이다.

2012년 미국 테크크런치 디스럽트 행사에서 출범한 해커랭크는 코딩 문제 풀이로 개발자 실력을 검증하는 사업으로 성장했다. 스타트업 육성기관 와이콤비네이터의 투자를 받았으며 아마존과 엔비디아 등 기업 고객 3000곳 이상과 개발자 3000만명 이상의 커뮤니티를 확보했다. 

차크라는 회사가 오랫동안 키워온 정답 채점형 평가와 다른 방향의 선택이다. 라비샨카르 CEO는 이 전환을 애플이 아이팟에서 아이폰으로 넘어간 일에 빗대며 앞으로 회사의 중심은 차크라가 될 것이라고 밝혔다.

AI가 채용 평가에 깊이 관여하는 데 따른 우려도 있다. 해커랭크는 차크라가 점수를 매길 뿐 최종 채용 결정은 사람이 내린다고 선을 그었다. 

AI는 기업이 정한 기준을 모든 지원자에게 똑같이 적용하는 정형화된 부분을 맡고 사람 면접관은 함께 일하고 싶은 사람인지 판단하거나 회사와 직무에 대한 지원자의 질문에 답하는 데 시간을 쓴다는 설명이다. 라비샨카르 CEO는 AI를 적절히 조정하면 출신 배경이나 학력에 휘둘리지 않아 사람보다 편향이 훨씬 적다고 주장했다.

다만 같은 기준을 일관되게 적용한다고 편향이 사라지는 것은 아니다. 자동화 채용 도구는 학습 데이터, 모델 및 평가 기준에 담긴 편향을 물려받거나 키울 수 있다. 

미국 뉴욕시는 '로컬 법 144호'로 이런 도구를 규제하고 있다. 채용이나 승진 심사에 자동화 도구를 쓰는 기업은 사용 전 1년 이내에 외부 독립 감사인의 편향 감사를 받아야 한다. 

편향 감사는 도구가 성별이나 인종에 따라 합격률을 다르게 내는지 점검하는 절차다. 지원자에게 사전 고지도 해야 하며 위반하면 하루 500~1500달러의 민사 벌금이 부과될 수 있다. 라비샨카르 CEO는 채용이 규제 대상 영역이라는 점을 인정하며 이런 요건 충족도 해커랭크가 대비해온 부분이라고 밝혔다.