LLM 가격 인하, 토큰보다 완료한 업무의 비용을 보라

LLM 가격이 내려가면 AI 도입 비용도 같은 비율로 줄어들까. 긴 대화 이력을 반복해서 읽고, 도구를 호출하고, 실패한 작업을 다시 수행하는 에이전트에서는 그렇지 않다. 가격표의 한 칸보다 캐시 구성과 업무 성공률이 실제 청구액을 더 크게 바꿀 수 있다.

가격 인하 분석에서 확인되는 것

Max Woolf는 2026년 10월 25일 가격 경쟁 분석에서 OpenAI와 Anthropic의 최근 모델 가격 변화를 정리했다. 글 제목의 ‘최대 80%’는 모든 모델과 모든 사용자의 전체 비용이 80% 감소했다는 뜻이 아니다. 특정 모델의 특정 가격 변화와 여러 세대에 걸친 비교가 함께 담겨 있다.

예를 들어 글은 GPT-5.6 Luna의 입력·출력·캐시 읽기 단가가 각각 100만 토큰당 1달러·6달러·0.10달러에서 0.20달러·1.20달러·0.02달러로 낮아진 사례를 제시한다. 이는 저자가 정리한 과거 가격 변화다. 현재 계약에 적용되는 견적으로 그대로 사용해서는 안 된다.

원문은 Fable 5.1의 캐시 읽기 가격 변화와 GPT-6.1 Sol의 캐시 단가도 강조한다. 중요한 것은 특정 모델을 추천하는 결론이 아니라, 입력·출력·캐시를 세 개의 다른 비용 항목으로 읽어야 한다는 점이다. 실제 도입 시점에는 OpenAI 가격표와 Anthropic 가격표를 다시 확인해야 한다.

캐시는 토큰 수와 청구액을 다르게 만든다

이전 대화가 길어지면 새 질문 한 문장보다 재사용되는 문맥이 훨씬 클 수 있다. 캐시가 적용되는 입력은 일반 입력보다 낮은 단가로 처리될 수 있지만, 적중 여부와 보존 시간, 재사용 가능한 접두부 조건이 공급자마다 다르다. 프롬프트 캐싱 문서를 읽어야 하는 이유다.

가령 캐시 읽기 90만 토큰과 새 입력 10만 토큰을 쓰는 가상의 작업을 생각해보자. 입력이 100만 토큰당 2달러, 캐시 읽기가 0.20달러라면 두 입력 항목의 합은 0.38달러다. 캐시 단가만 0.10달러로 낮아지면 0.29달러가 된다. 이 예시는 실제 모델 견적이 아니며 출력과 도구 비용은 제외했다. 캐시 단가 50% 인하가 입력 전체 비용 50% 인하는 아니라는 산술을 보여준다.

원문의 높은 캐시 비중 관찰도 모든 고객의 고정된 특성은 아니다. 짧은 단발 질문, 자주 바뀌는 문서, 접두부가 달라지는 프롬프트는 다른 비용 구조를 갖는다.

경쟁이 가격을 누르더라도 전환은 공짜가 아니다

Woolf는 오픈웨이트 모델과 다수의 추론 사업자가 대형 공급자의 가격을 견제한다고 해석한다. OpenRouter 모델 목록처럼 여러 공급자를 비교할 수 있는 시장은 선택지를 넓힌다. 다만 모델 선택 메뉴가 간단하다는 사실이 기업 전환 비용까지 작다는 뜻은 아니다.

한국어 품질, 구조화 출력의 안정성, 도구 호출 형식, 데이터 보존 정책, 국내 고객의 지연시간이 달라질 수 있다. 다른 공급자로 옮기는 순간 캐시가 재사용되지 않을 수도 있다. 저렴한 단가의 이득이 재검수와 장애 대응 비용으로 상쇄되는지 확인해야 한다.

Haiku 계열의 이관 비용과 Replit의 기본 모델 전환은 가격 경쟁이 실제 제품 선택으로 이어지는 과정을 다룬다. 기본값을 바꾸는 결정과 기존 모델을 완전히 제거하는 결정도 구분해야 한다.

한국 기업은 예산을 어떻게 바꿔야 하나

권장하는 기준은 ‘검수 통과한 업무 한 건당 총비용’이다. API 청구액에 검색·실행 환경 비용, 재시도, 사람의 검수 시간을 더하고, 성공적으로 완료한 건수로 나눈다. 내부 민감 자료를 처리하는 작업과 공개 정보 요약처럼 위험이 낮은 작업은 따로 집계하는 편이 합리적이다.

낮은 단가가 사용량 증가를 부를 수도 있다. 예전에는 하루 한 번 하던 분석을 매시간 수행하면 단위 비용이 내려가도 월 지출은 오른다. 이는 곧바로 낭비라는 뜻이 아니다. 추가 실행이 매출, 대응 시간, 품질 개선으로 이어졌는지 별도로 판단해야 한다. AI 사용량과 이익의 구분이 필요한 지점이다.

구독 요금과 API 단가도 별개다. 같은 월 요금이어도 사용 한도, 혼잡 시간 제한, 모델별 차감 방식이 달라질 수 있다. 반대로 API 단가 인하가 좌석 요금 인하를 보장하지 않는다. 계약의 갱신 주기와 예약 용량까지 포함해야 예산 예측이 된다.

가격 인하의 원인을 경쟁, 추론 효율 개선, 기업 전략으로 설명할 수는 있지만 외부에서 정확한 원가와 마진을 모두 알 수는 없다. 원문의 향후 가격 및 상장 관련 전망은 저자의 해석이며 확정 사실이 아니다. 지속적인 가격 하락을 전제로 장기 손익을 고정하는 것도 피해야 한다.

자주 묻는 질문

최대 80% 인하가 모든 모델에 적용되나?

아니다. 원문에 등장하는 특정 가격 변화다. 모델, 시점, 비용 항목을 함께 확인해야 한다.

캐시가 많으면 무조건 가장 싼 모델을 고르면 되나?

품질과 적중률이 유지될 때만 유효하다. 실패가 늘거나 문맥을 다시 보내야 하면 총비용이 커질 수 있다.

구독 요금도 같은 폭으로 내려가나?

보장되지 않는다. 월 요금, 사용 한도, API 과금은 서로 다른 계약 항목이다.

오픈웨이트를 직접 운영하면 더 저렴한가?

가동률과 인력, GPU 용량, 장애 대응에 따라 달라진다. 토큰 단가만으로 자체 운영의 경제성을 확정할 수 없다.

다음 예산 검토에서 무엇을 보고해야 하나?

모델별 단가와 함께 업무 성공률, 캐시 적중률, 검수 시간, 월 총지출을 보고하는 것이 좋다. 절감률은 동일한 품질 조건에서 비교해야 의미가 있다.