Caveman 벤치마크, 짧은 답변보다 중요한 것은 일관된 구조다

“be brief”가 플러그인과 비슷했다는 결과

Max Taylor는 Caveman 플러그인을 “be brief” 두 단어와 비교한 벤치마크를 공개했다. Caveman은 Claude Code 응답을 강하게 압축하는 플러그인으로 소개되지만, 24개 프롬프트·6개 카테고리·5개 실험군 비교에서 단순한 “be brief” 지시도 토큰과 품질 면에서 비슷한 결과를 냈다는 것이 글의 핵심이다.

실험은 버그 진단, 개념 설명, 아키텍처 트레이드오프, 다단계 설정, 보안·파괴적 작업, 오류 해석을 다뤘다. 품질 점수는 baseline 0.985, brief 0.985, Caveman lite 0.976, full 0.975, ultra 0.970으로 큰 차이가 없었다고 설명한다. 평균 토큰은 baseline 636, brief 419, lite 401, full 404, ultra 449였다. 겉으로 보면 플러그인의 압축 가치는 과장돼 보인다.

진짜 차이는 토큰이 아니라 운영성

하지만 이 결과를 “프롬프트 두 단어면 충분하다”로만 읽으면 놓치는 것이 있다. 글쓴이는 Caveman의 가치가 압축률보다 출력 구조, intensity dial, 장기 세션 지속성에 있다고 해석한다. Claude Code처럼 개발자의 작업 맥락을 오래 들고 가는 도구에서는 매 답변이 비슷한 모양으로 나오는 것이 중요하다. 사람이 읽기에도 좋지만, 더 중요하게는 후속 스크립트나 팀 규칙이 결과를 소비하기 쉬워진다.

개발자 복장과 정체성에서 다룬 것처럼 개발 도구는 생산성만이 아니라 팀의 작업 문화와 리듬을 만든다. AI 코딩 도구도 마찬가지다. 응답이 짧은가보다 “팀이 기대하는 형식으로 반복 가능한가”가 더 큰 차이를 만든다.

안전 상황에서 길어지는 것은 실패가 아니다

흥미로운 대목은 Caveman ultra가 전체 평균에서 가장 짧지 않았다는 점이다. 글은 다단계 설정과 보안 경고 영역에서 Caveman의 Auto-Clarity 규칙이 압축을 완화한다고 설명한다. 파괴적 명령, 보안 위험, 여러 단계 작업은 짧게 줄이면 오히려 사고가 난다.

이는 좋은 설계다. Claude Code 설정과 hooks처럼 도구가 세션 시작이나 사용자 프롬프트 제출 시 규칙을 주입할 수 있다면, “짧게 답하라”와 “위험하면 충분히 설명하라”를 함께 유지할 수 있다. 클로드 에이전트 멀웨어 거부 버그 사례가 보여주듯, AI 도구의 안정성은 평균 응답 품질보다 예외 상황 처리에서 갈린다.

한국 개발팀이 배울 점

구글 신규 코드 75% AI 생성 흐름을 보면, 개발 조직은 AI 응답을 더 많이, 더 자주 소비하게 된다. 이때 비용 절감만 보고 무조건 짧은 답변을 강제하면 온보딩, 보안 리뷰, 장애 대응 문맥이 손상될 수 있다. 반대로 모든 답변을 장황하게 두면 개발자는 도구를 끄게 된다.

권장 접근은 세 가지다.

1. 일상 질의에는 짧은 형식을 기본값으로 둔다.
2. 보안, 데이터 삭제, 배포, 권한 변경, 마이그레이션에는 자동으로 설명량을 늘린다.
3. 팀별 응답 템플릿을 정하고 AI 도구 설정에 반영한다.

Anthropic의 Claude Code 관련 소개처럼 코딩 에이전트는 점점 IDE와 터미널 안쪽으로 들어오고 있다. 이 단계에서 프롬프트 엔지니어링은 개인 취향이 아니라 팀 운영 정책이 된다.

FAQ

Q1. Caveman 같은 플러그인이 필요 없다는 뜻인가?
아니다. 단발 질의에서는 “be brief”가 충분할 수 있지만, 장기 세션과 팀 표준화에는 플러그인형 규칙이 가치가 있다.

Q2. 토큰 절감률만 보면 어떤 결론인가?
공개 실험에서는 baseline 대비 brief가 34% 줄었고 Caveman lite/full도 비슷했다. 압축률만으로는 큰 차별화가 어렵다.

Q3. 왜 ultra가 더 길어졌나?
다단계 설정과 보안 경고에서 압축을 푸는 Auto-Clarity 규칙이 작동했기 때문으로 설명된다. 이는 안전 측면에서 합리적이다.

Q4. 팀에서 바로 적용할 수 있는 규칙은?
“기본은 5줄 이내, 위험 작업은 체크리스트 포함, 명령어는 복붙 가능하게, 불확실하면 질문”처럼 간단한 형식을 정하면 된다.

Q5. 벤치마크 한계는 무엇인가?
단발 claude -p 실행 중심이라 장기 세션 drift, 실제 프로젝트 파일 수정, 팀별 선호도는 충분히 측정하지 못한다.