LLM에게 물어보라는 조언의 피로 신호
LLM은 좋은 첫 번째 대화 상대가 됐지만 마지막 판단자가 되기는 어렵다. 조직은 AI 사용을 권장하는 수준을 넘어 언제 사람의 경험과 책임으로 되돌아와야 하는지 정해야 한다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
조언의 기본값이 LLM이 됐다
Yael Grauer의 글은 짧지만 2026년 AI 사용 문화를 잘 찌른다. 필자는 합의가 없는 어려운 질문을 들고 경험 많은 사람에게 전화를 걸었다. 기대한 것은 검색이나 교과서가 아니라 오랜 시행착오가 남긴 판단 기준이었다. 그런데 돌아온 답은 결국 Claude에게 물어보라는 것이었다. 필자는 이미 LLM을 써봤고, 여러 방법이 왜 충분하지 않았는지도 알고 있었다.
이 장면은 단순한 불평이 아니다. ChatGPT, Claude, Gemini가 지식 탐색의 첫 화면이 되면서 사람 사이의 질문이 약해지는 현상을 보여준다. OpenAI의 ChatGPT 도움말이나 Anthropic의 Claude 문서는 모델을 효과적으로 쓰는 법을 설명하지만, 모델이 답하지 못한 뒤 무엇을 해야 하는지는 조직마다 다르다. htmx 사례가 보여준 AI 코딩의 거리감, Claude Code 비용 원장 논의, 30papers 학습 로드맵은 모두 AI가 지식을 대체하기보다 학습과 검증 방식을 바꾼다는 점을 보여준다.
왜 이 피로가 중요할까
기업에서 AI 도입이 성숙해질수록 문제는 사용 여부가 아니라 질문의 품질이다. 누구나 LLM에게 먼저 묻는다면, 사람에게 질문하는 순간은 더 비싸고 희소해진다. 그때 사람의 역할은 답을 대신 생성하는 것이 아니라 맥락, 우선순위, 위험 감수의 이유를 설명하는 쪽으로 이동한다. 그런데 사람이 다시 LLM을 권하기만 하면 조직은 같은 원을 돈다.
| 상황 | LLM이 잘하는 일 | 사람이 더 필요한 일 |
|---|---|---|
| 넓은 배경 조사 | 용어 정리, 관점 나열, 초안 작성 | 어떤 관점이 현장에 맞는지 판단 |
| 데이터 분석 막힘 | 대안 코드, 통계 방법 제안 | 데이터 수집 편향과 사업 맥락 해석 |
| 전략 질문 | 프레임워크와 사례 요약 | 실패 비용, 정치적 제약, 책임 배분 |
| 코딩 문제 | API 사용법, 테스트 초안 | 기존 시스템의 의도와 운영 리스크 |
이 표의 핵심은 AI를 덜 쓰자는 말이 아니다. 오히려 AI를 기본값으로 쓸수록 사람에게 기대해야 하는 답의 종류가 바뀐다는 뜻이다. 같은 질문을 LLM과 전문가에게 반복해서 던지는 방식은 비효율적이다. 먼저 모델로 쟁점을 좁히고, 그 다음 사람에게는 모델이 놓친 맥락과 반례를 묻는 식으로 대화가 바뀌어야 한다.
기업의 AI 리터러시는 프롬프트 교육을 넘어선다
많은 기업이 AI 교육을 프롬프트 작성법으로 시작한다. 하지만 Grauer의 글이 보여주는 더 큰 문제는 질문 전달 체계다. 직원이 이미 LLM을 써서 막혔을 때 누구에게, 어떤 형식으로, 어떤 증거와 함께 에스컬레이션할지 정해져 있지 않으면 전문가는 다시 모델 사용을 권하고 끝난다. 이 경우 조직은 AI를 도입했지만 지식 순환은 나아지지 않는다.
실무적으로는 세 가지가 필요하다. 첫째, 질문자가 이미 시도한 프롬프트와 결과, 실패 이유를 짧게 기록하게 한다. 둘째, 전문가에게는 답변보다 판단 기준을 요구한다. 셋째, 반복되는 질문은 사내 지식베이스로 환류한다. Microsoft Learn의 Copilot 자료처럼 벤더 문서는 기능을 설명하지만, 회사별 의사결정 기준은 내부에서 만들어야 한다.
한국 조직에 주는 신호
한국 기업은 상하관계와 부서 경계 때문에 질문 비용이 높다. 그래서 LLM은 유용하다. junior가 senior에게 묻기 전 초안을 만들고, 비전문가가 법무나 보안팀에 질문하기 전 용어를 정리할 수 있다. 그러나 이 장점이 사람의 책임을 회피하는 핑계가 되면 위험하다. 특히 법무, 의료, 금융, 보안, 인사처럼 결과 책임이 큰 영역에서는 "AI에게 물어봤다"가 의사결정 근거가 될 수 없다.
앞으로 좋은 팀은 AI 사용을 금지하지도, 모든 질문을 AI로 돌리지도 않을 것이다. 대신 "LLM으로 충분한 질문", "전문가 검토가 필요한 질문", "경영 판단으로 올라가야 하는 질문"을 구분할 것이다. 이 구분이 생겨야 AI가 지식의 막다른 골목이 아니라 대화의 출발점이 된다.
자주 묻는 질문
Q1: 이 글은 LLM을 쓰지 말자는 주장인가요?
A: 아니다. 핵심은 이미 LLM을 써본 사람에게 다시 LLM만 권하는 조언이 충분하지 않다는 점이다.
Q2: 전문가에게는 무엇을 물어야 하나요?
A: 정답보다 판단 기준, 과거 실패 사례, 어떤 증거를 더 믿는지, 어떤 리스크를 감수할 수 있는지를 물어야 한다.
Q3: 기업 교육은 어떻게 바뀌어야 하나요?
A: 프롬프트 교육에 더해 결과 검증, 에스컬레이션, 사내 지식베이스 반영 절차를 포함해야 한다.
Q4: 개발팀에도 같은 문제가 있나요?
A: 있다. 코드 초안은 AI가 만들 수 있지만, 레거시 의도와 운영 장애 가능성은 팀 경험이 더 중요하다.
Q5: 좋은 사용 습관은 무엇인가요?
A: 모델 답변, 시도한 대안, 남은 불확실성을 기록한 뒤 사람에게 구체적인 판단을 요청하는 것이다.
관련 토픽 더 보기
📰 원본 출처
blog.yaelwrites.com이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.