Bonsai 2 27B, 로컬 AI의 6GB 기준선

27B 모델을 5.9GB에 담는다는 뜻

PrismML의 Bonsai 2 27B 발표는 로컬 AI 배포의 기준선을 다시 낮춘다. Ternary Bonsai 2 27B는 Qwen3.8 27B 기반 모델을 삼진 가중치 와 FP16 group-wise scaling으로 압축해 1.76 effective bits per weight, 전체 5.9GB footprint를 제시한다. 회사는 full precision counterpart 대비 9배 이상 작으면서 aggregate benchmark performance의 98.2%를 유지한다고 주장한다.

숫자가 중요한 이유는 단순하다. 5.9GB면 고급 워크스테이션이 아니라 일반 노트북, 일부 미니 PC, 프라이버시가 중요한 현장 장비에서 27B급 모델을 검토할 수 있는 크기다. 발표는 262K token context window, 텍스트와 이미지 입력, Apache 2.0 라이선스도 함께 내건다. 로컬 모델이 "작아서 쓰는 대안"이 아니라 "충분히 큰 능력을 개인 장치에 두는 선택"으로 바뀌고 있다.

Apache 2.0 라이선스, Qwen 모델 생태계, Berkeley Function Calling Leaderboard, LiveCodeBench 같은 기준을 함께 보면 이 발표는 벤치마크 자랑보다 배포 프로파일의 변화에 가깝다.

압축률보다 중요한 것은 유지율

모델 압축 발표에서 흔히 압축률만 눈에 들어온다. 하지만 제품팀에는 "얼마나 작아졌나"보다 "작아지고도 무엇을 잃지 않았나"가 더 중요하다. Bonsai 2 27B는 reasoning, math, coding, instruction following, vision, agentic tool use를 포함한 benchmark suite에서 aggregate 83.9점을 냈고, Qwen3.8 27B의 98.2%를 유지했다고 설명한다.

특히 coding category는 HumanEval+, LiveCodeBench v6, MBPP+, BigCodeBench를 묶어 81.58점을 제시한다. agentic and tool calling은 τ²-bench와 BFCLv3 기준 77.57점이다. 물론 벤치마크는 제품 품질을 보증하지 않는다. 하지만 로컬 모델이 단순 채팅이 아니라 도구 호출, 장기 문맥, 이미지 입력까지 겨냥한다는 점이 핵심이다.

로컬 AI는 개인정보 전략이기도 하다

한국 기업에는 두 갈래 기회가 있다. 첫째, 개인정보나 영업비밀 때문에 외부 API로 보내기 어려운 업무다. 상담 기록, 설계 문서, 제조 로그, 의료 초안 검토처럼 데이터 이동 자체가 리스크인 영역에서는 로컬 모델의 품질이 조금 낮아도 채택 이유가 생긴다. 둘째, 비용 예측성이다. API 호출량이 폭증하는 에이전트 업무에서는 로컬 추론이 일정 비용 상한을 만든다.

이 흐름은 애플 Neural Engine, 50GB/s를 되찾다, vLLM의 AMD speculative decoding, 추론비 경쟁의 다음 축, 로컬 LLM 추론 스택의 품질 격차와 같은 선상에 있다. 모델 자체보다 배포 위치가 제품 전략을 바꾼다.

압축 모델의 검증은 다르게 해야 한다

삼진 가중치 모델은 평균 점수가 높아도 실패 양상이 달라질 수 있다. 긴 문맥에서 앞부분 지시를 놓치는지, 이미지 OCR에서 작은 글자를 잃는지, 함수 호출 JSON이 깨지는지, 한국어 존댓말과 법률 문체를 안정적으로 유지하는지 따로 봐야 한다. 특히 262K context는 매력적이지만 긴 문맥은 "넣을 수 있음"과 "끝까지 올바르게 쓸 수 있음"이 다르다.

그래서 한국 팀의 실험 설계는 간단해야 한다. 클라우드 상위 모델과 Bonsai 2 27B를 같은 사내 문서 50개, 같은 함수 호출 100개, 같은 이미지 문서 50장에 돌린다. 평균 점수보다 실패 사례를 분류한다. 보안상 로컬이어야 하는 업무와 품질상 클라우드가 필요한 업무를 나누면 하이브리드 아키텍처가 보인다.

자주 묻는 질문

Q1: Bonsai 2 27B는 어떤 모델인가요?

A: PrismML이 발표한 삼진 가중치 기반 27B급 멀티모달 모델로, Qwen3.8 27B를 기반으로 5.9GB footprint를 제시합니다.

Q2: 98.2% 성능 유지가 제품 품질을 보장하나요?

A: 아닙니다. aggregate benchmark 기준 주장입니다. 한국어, 긴 문서, 도구 호출, 이미지 OCR은 별도 평가해야 합니다.

Q3: 262K 문맥은 왜 중요한가요?

A: 긴 계약서, 회의록, 코드베이스 요약처럼 문서를 잘라 넣지 않고 다루는 사용 사례가 늘어납니다. 다만 긴 문맥 정확도 검증이 필요합니다.

Q4: 로컬 모델의 가장 큰 장점은 무엇인가요?

A: 데이터 통제, 지연시간, 비용 예측성입니다. 특히 민감 데이터가 많은 기업 업무에서 의미가 큽니다.

Q5: 한국 기업은 어떻게 시험해야 하나요?

A: 사내 대표 문서와 도구 호출 세트를 만들어 클라우드 모델과 나란히 비교하고, 평균 점수보다 실패 유형을 먼저 봐야 합니다.