AI 열풍이 의사결정을 흐리는 방식

현장의 회의론이 커졌다

Hermit Tech의 에세이는 거칠지만 중요한 질문을 던진다. 많은 조직이 AI를 전략의 중심에 놓았지만 실제 사용률, 업무 성과, 고객 경험을 충분히 측정하고 있는가. 저자는 내부 챗봇, 고객 응대 봇, 에이전트 인터페이스 프로젝트가 경영진의 신념과 조직 정치 속에서 과대평가된다고 비판한다. 같은 글은 Ludicity 원문에도 올라왔다.

이 주장은 "AI는 쓸모없다"가 아니라 "검증 없는 AI 전략은 위험하다"에 가깝다. AI 버블 논쟁과 BIS AI 부채 경고에서 반복된 것처럼, AI 투자는 이제 제품 실험이 아니라 자본 배분의 문제다. 실패를 측정하지 않으면 실패가 사라지는 것이 아니라 비용이 숨어든다.

ROI가 아니라 사용률부터 봐야 한다

기업 AI 프로젝트의 첫 지표는 대개 생산성 향상률이다. 하지만 실제로는 사용률, 재방문율, 인간 에스컬레이션 비율, 오류 복구 시간부터 봐야 한다. 직원이 내부 챗봇을 쓰지 않는다면 모델 품질 이전에 문서 품질과 접근 권한이 문제일 수 있다. 고객 응대 봇이 전화를 줄였더라도 고객 문제가 해결되지 않았다면 비용을 뒤로 밀었을 뿐이다.

McKinsey의 AI 보고서, METR의 AI 생산성 실험, NBER의 생성 AI 경제 연구, Stanford AI Index처럼 서로 다른 자료도 같은 교훈을 준다. AI의 효과는 작업 종류, 조직 데이터, 사용자 숙련도, 측정 방식에 강하게 의존한다.

한국 기업의 더 큰 위험

한국 기업은 AI 도입 압력이 특히 빠르다. 제조, 금융, 통신, 공공 조직 모두 "AI 전환"을 선언해야 하는 분위기다. 문제는 선언 속도보다 검증 속도가 느리다는 점이다. 내부망, 개인정보, 하도급 구조, 레거시 문서가 얽힌 조직에서는 모델보다 운영 설계가 병목이다. 카이저 간호사 AI 감시 논란이 보여주듯, 현장 신뢰 없이 도입된 AI는 생산성보다 반발을 먼저 만든다.

한국 기업이 지금 해야 할 일은 큰 플랫폼 계약 이전에 작은 실패를 정확히 기록하는 것이다. 상담 요약이 틀렸을 때 누가 고치는지, 코드 에이전트가 낸 PR을 리뷰하는 데 몇 분이 드는지, 문서 검색 봇이 답하지 못한 질문이 어디로 가는지를 숫자로 남겨야 한다. 그래야 모델 업그레이드가 실제 개선인지, 단지 더 그럴듯한 데모인지 구분할 수 있다.

AI 신념이 전략을 대체할 때

에세이의 가장 날카로운 부분은 조직 내 언어의 변화다. 어떤 회의에서는 AI를 의심하는 질문 자체가 충성도 부족처럼 해석된다. 이때 합리적 검증은 밀려나고, 프로젝트는 성공을 증명하기 위한 지표만 고른다. 하지만 AI는 다른 소프트웨어보다 실패 방식이 더 복잡하다. 입력 데이터가 나쁘면 실패하고, 모델이 좋아도 업무 흐름이 나쁘면 실패하고, 사용자가 믿지 않으면 실패한다.

따라서 AI 거버넌스는 규제 대응 문서가 아니라 의사결정 품질 장치여야 한다. 투자 승인 전에는 대체안과 비교하고, 파일럿 종료 전에는 미사용자의 이유를 듣고, 확산 전에는 실패 사례를 공개해야 한다. AI에 우호적인 조직일수록 반대 질문을 제도화해야 한다.

자주 묻는 질문

Q1: 이 글은 AI 반대론인가요?

A: 그렇게만 보기 어렵다. 핵심은 AI 도입 자체보다 검증 없이 전략과 조직 정치가 AI를 밀어붙이는 현상에 대한 비판이다.

Q2: 내부 챗봇은 왜 실패하기 쉽나요?

A: 많은 회사의 문서가 최신이 아니고 권한 구조가 복잡하다. LLM은 없는 지식을 만들 수 없고, 잘못된 문서를 읽으면 그럴듯하게 틀린 답을 한다.

Q3: ROI는 언제 측정해야 하나요?

A: 파일럿 전부터 측정 설계를 해야 한다. 배포 후에 성공 지표를 고르면 조직은 대개 보기 좋은 숫자만 남긴다.

Q4: 한국 기업은 무엇을 우선해야 하나요?

A: 대규모 계약보다 사용률, 오류 복구 시간, 고객 해결률, 직원 만족도를 작은 업무 단위로 측정하는 체계가 먼저다.

Q5: AI 도입을 늦추라는 뜻인가요?

A: 아니다. 빠르게 실험하되 더 엄격하게 측정하라는 뜻이다. 검증 없는 확산이 가장 비싼 전략이다.