AI 조언은 정답보다 확신을 먼저 키운다

틀린 답보다 더 위험한 확신

The Next Web 보도는 2026년 7월 15일 arXiv에 올라온 연구를 소개했다. 논문 제목은 AI advice suppresses people's willingness to say "I don't know"다. 연구진은 다섯 개 실험에서 총 3,132명을 대상으로 어려운 영화 세부 질문을 던지고, 언제든 답하지 않을 수 있게 했다. 핵심 설계는 AI 조언이 대체로 틀리도록 문제를 구성한 점이다. 즉 AI가 좋은 조언자였기 때문에 사람들이 의존했다는 설명을 걷어냈다.

숫자는 꽤 선명하다. TNW가 정리한 결과에 따르면 AI 조언이 있을 때 "모르겠다"고 답하는 비율은 44%에서 3%로 떨어졌고, 정답률은 27%에서 9%로 낮아졌다. 반대로 자신감은 30%에서 76%로 올랐다. 논문 초록도 AI 접근만으로 판단 보류가 거의 사라졌고, 참가자들이 더 많은 질문에 답했지만 정답은 약 3분의 1 수준으로 줄었다고 설명한다. 이것은 AI 조언 피로에서 다룬 문제와 이어진다. AI가 답을 빨리 주는 순간, 사용자는 질문의 난이도를 다시 평가할 시간을 잃는다.

연구가 겨냥한 것은 모델 정확도가 아니다

이 연구를 "어떤 모델이 영화 퀴즈를 못 맞혔다"는 이야기로 읽으면 핵심을 놓친다. 연구진은 의도적으로 온라인 텍스트에 잘 남지 않는 영화 속 시각 디테일을 물었다. 논문은 Step 3.5 Flash를 사용했고, GPT-5.5, Claude 4.6 Sonnet, Gemini 3.5 Flash도 일부 어려운 질문에서 실패했다고 덧붙였다. 목적은 특정 모델 비난이 아니라, 그럴듯한 답변이 있는 상황에서 인간의 메타인지 기준이 어떻게 움직이는지 보는 데 있었다.

돈을 걸어도 효과는 완전히 사라지지 않았다. 연구에서는 정답 보상과 오답 벌점을 줬을 때 AI 조언 요청이 줄고 정확도가 오르긴 했지만, 판단 보류는 AI가 없을 때 수준으로 돌아오지 않았다. 이는 다시 읽기 훈련이 말한 지식노동의 방어선과도 맞물린다. 인센티브만으로는 자동 답변 UX가 만든 습관을 되돌리기 어렵다.

검색, 업무 앱, 교육 제품의 공통 리스크

이 논문이 불편한 이유는 AI 조언이 이제 요청형 기능이 아니라 기본 UI가 되고 있기 때문이다. 검색 결과 상단의 AI 요약, 문서 편집기의 자동 제안, 회의록의 액션 아이템, 코드 리뷰의 자동 코멘트는 모두 사용자가 독립 판단을 형성하기 전에 등장한다. 연구의 Study 4는 AI 조언을 사용자가 직접 요청하지 않아도 자동으로 보여주는 조건을 시험했고, 효과가 계속 나타났다고 보고했다.

기업 입장에서는 이것을 개인의 비판적 사고 문제로만 돌릴 수 없다. 사내 AI 비서가 회계, 법무, 영업, 고객지원 문서를 요약할 때 "확실하지 않으면 멈추라"는 기준이 제품 안에 있어야 한다. AI 열풍과 의사결정이 지적했듯, ROI 압박이 강해질수록 자동화가 판단 품질을 가리는 순간이 늘어난다. AI 도입 KPI를 답변 수, 처리 시간, 사용량으로만 두면 이 위험은 보이지 않는다.

한국 기업이 넣어야 할 안전장치

한국 기업과 교육기관은 AI 사용 금지보다 판단 보류의 회복을 설계해야 한다. 예를 들어 고객 상담 AI는 답변 후보와 함께 신뢰 근거, 원문 위치, 확인 필요 항목을 분리해 보여줘야 한다. 사내 지식 검색은 "답변 없음"과 "근거 부족"을 성공 상태로 인정해야 한다. 학교에서는 AI 사용 여부를 적발하는 방식보다, 학생이 어떤 부분을 모른다고 판단했고 어떤 원자료로 확인했는지를 평가해야 한다.

개발팀은 평가 하네스를 바꿔야 한다. 단순 정답률뿐 아니라 모를 때 멈추는 비율, 잘못된 추천을 사용자가 거부한 비율, 사람이 검토로 되돌린 비율을 측정해야 한다. GPT-5.6 전환 평가 하네스에서 말한 것처럼 모델 교체보다 평가 항목의 정의가 먼저다. 자동 답변이 많아질수록 좋은 제품은 더 많이 말하는 제품이 아니라, 필요한 순간 덜 말할 수 있는 제품이 된다.

자주 묻는 질문

Q1: 이 연구는 AI가 항상 나쁘다는 뜻인가요?

A: 아니다. 연구는 AI가 대체로 틀리도록 구성된 상황에서 사람의 판단 보류가 어떻게 변하는지 본 것이다. 결론은 AI 사용 금지가 아니라 불확실성을 표시하고 검증하도록 만드는 설계가 필요하다는 쪽에 가깝다.

Q2: 왜 "모르겠다"가 중요한가요?

A: 모른다고 말하는 능력은 오답을 피하는 최소한의 안전장치다. AI가 그럴듯한 답을 주면 사용자는 이 안전장치를 우회하기 쉽다.

Q3: 돈을 걸면 더 신중해지지 않나요?

A: 일부 개선은 있었다. 다만 AI가 없을 때의 판단 보류 수준까지 회복되지는 않았다. 보상 설계만으로는 충분하지 않다.

Q4: 업무용 AI에는 어떤 지표가 필요할까요?

A: 답변 성공률 외에 근거 확인률, 사람 검토 전환율, 불확실성 표시 빈도, 오답 후 수정 비용을 함께 봐야 한다.

Q5: 교육 현장에서는 어떻게 적용해야 하나요?

A: AI 사용 여부보다 학생이 무엇을 모르는지 식별하고, 어떤 출처로 검증했는지 설명하게 하는 평가가 더 현실적이다.