맥킨지 AI 고객 면접, 평가자는 여전히 사람이다

AI 면접관이 아니라 AI 고객이다

맥킨지가 일부 신입 지원자에게 AI로 구현한 고객과 10분간 대화하도록 하는 면접을 시험한다. 10월 14일 The Verge 보도는 월스트리트저널의 취재를 인용해 이 방식을 소개했다. AI는 고객 역할을 하고, 현장에 있는 사람이 지원자를 평가한다. AI가 점수를 부여하는 구조가 아니라는 점이 핵심이다.

보도상 대상은 이번 가을 북미 일부 사무소의 학부생 비즈니스 애널리스트 지원자다. 수백 명이 사용할 수 있다고 전해졌지만 전 세계 전형의 일괄 전환으로 발표된 것은 아니다. 한국 오피스 도입 여부나 구체적 합격 기준도 확인된 자료에서 제시되지 않았다.

이 구분은 채용 AI 논쟁을 더 정확하게 만든다. 질문 생성, 역할극 진행, 전사, 점수 산정, 최종 결정은 서로 다른 기능이다. 일부에 AI를 넣었다고 나머지 단계도 자동화됐다고 추정하면 평가 책임과 실제 위험을 잘못 짚게 된다.

80%는 정확도가 아니라 설계 목표다

The Verge가 전한 설명에 따르면 시뮬레이션은 컨설턴트가 일상 업무에서 마주할 수 있는 상황의 80%를 반영하는 것을 목표로 한다. 이 수치를 면접 정확도, 합격 예측률 또는 공정성 점수로 읽어서는 안 된다. 어떤 상황을 모집단으로 삼았고 어떻게 범위를 계산했는지도 보도만으로는 알 수 없다.

AI 고객은 반드시 극단적이거나 비합리적인 상대를 흉내 내도록 설계된 것은 아니라고 한다. 지원자는 모호한 요구를 구체화하고, 정보가 부족한 상황에서 질문하며, 고객과 다음 단계를 합의하는 능력을 보여줄 수 있다. 다만 이것은 이런 역할극에서 관찰 가능한 역량에 대한 분석이지 공개된 공식 채점표의 재현은 아니다.

열 분 동안 보인 말투와 반응이 장기간의 업무 성과를 충분히 대표하는지도 별도 검증 대상이다. 특정 산업 경험이나 영어 표현의 유창함이 문제 정의 능력처럼 평가되지 않는지 확인해야 한다. 장면이 현실적으로 보인다는 사실만으로 채용 타당성이 확보되지는 않는다.

자동 채점과 역할극의 위험은 다르다

사람이 채점한다고 편향이 자동으로 사라지는 것은 아니다. AI가 지원자마다 다른 수준의 힌트나 압박을 제공하면, 평가자는 이미 다른 시험을 본 사람들을 비교하게 된다. 반대로 시나리오를 완전히 고정하면 사전 유출과 암기 대응이라는 문제가 생긴다. 다양성과 비교 가능성 사이의 균형이 필요하다.

HackerRank Chakra의 면접 변화는 산출물보다 판단 과정을 관찰하는 흐름을 보여준다. AI 코딩 생산성과 리뷰 병목처럼 생성 능력이 늘어날수록 사람이 무엇을 검토해야 하는지가 더 중요해진다. 채용에서도 면접 상대를 생성하는 비용이 줄어드는 것과 평가의 질이 좋아지는 것은 다른 주장이다.

한국 기업은 직무 분석부터 해야 한다

국내 채용팀이 비슷한 도구를 검토한다면 먼저 실제 업무에서 필요한 행동을 정의해야 한다. 고객 요구의 우선순위를 정하는지, 불확실성을 설명하는지, 권한 밖의 약속을 피하는지처럼 관찰 가능한 기준이 필요하다. 단순한 자신감이나 말의 속도를 평가 대리 지표로 쓰면 직무 관련성을 잃기 쉽다.

파일럿에서는 같은 응답에 대해 여러 평가자가 얼마나 일관되게 판단하는지 점검할 수 있다. 시나리오 버전과 모델 버전도 남겨야 한다. 모델 업데이트 후 고객의 반응 강도가 달라졌다면 이전 지원자의 평가와 그대로 비교해도 되는지 다시 검토해야 한다.

미국 EEOC의 고용 시험·선발 절차 안내는 시험의 직무 관련성과 차별적 영향 등을 살피는 배경 자료다. 이는 미국 지침이며 한국 법률에 그대로 적용된다는 뜻은 아니다. NIST AI 위험관리 프레임워크도 목적과 맥락에 맞는 평가·관리를 설계하는 데 참고할 수 있지만 해당 면접 도구의 타당성을 인증하지는 않는다.

경쟁력은 면접 생성보다 평가 운영

역할극 AI는 고객 유형을 다양하게 만들고 훈련 기회를 늘리는 데 쓰일 수 있다. 채용뿐 아니라 입사 뒤 교육에 활용할 가능성도 있다. 그러나 채용 결과에 영향을 미치는 용도는 연습용보다 높은 수준의 기록, 설명, 접근성 지원이 필요하다. 청각·발화 조건이나 시스템 장애 때문에 역량을 충분히 보여주지 못한 지원자의 대체 절차도 설계 과제다.

AI 도구와 통제 위치에 대한 논의는 여기서도 유효하다. AI가 대화 상대를 맡아도 무엇을 좋은 수행으로 볼지 결정하는 책임은 고용주에게 남는다. 제품 선택에서는 아바타의 자연스러움만이 아니라 시나리오 검토, 평가자 훈련, 변경 이력과 결과 설명을 지원하는지를 살펴야 한다.

자주 묻는 질문

맥킨지는 AI가 지원자를 채점하나?

이번 보도는 AI가 채점하지 않고 현장 사람이 평가한다고 명시한다.

한국 지원자도 바로 이 면접을 보나?

확인된 시험 범위는 북미 일부 사무소다. 한국 전형 적용은 확인되지 않았다.

80%는 합격 예측 정확도인가?

아니다. 일상 업무 상황을 반영하려는 목표에 대한 설명이며 정확도 지표가 아니다.

사람이 평가하면 공정성 문제는 끝나나?

아니다. 상황 난이도, AI의 응답, 평가자의 기준이 각각 편향을 만들 수 있다.

지원자는 어떻게 준비하는 편이 좋은가?

공개되지 않은 정답을 추측하기보다 요구를 확인하고 판단 근거와 다음 행동을 명확히 설명하는 연습이 도움이 된다. 이는 일반적 준비 제안이며 공식 채점 기준은 아니다.