Bonsai 27B, 휴대폰으로 내려온 에이전트 모델

27B급 모델의 배치 위치가 바뀐다

PrismML의 Bonsai 27B 발표는 "휴대폰에서 돌아가는 27B급 모델"이라는 문구 때문에 눈에 띈다. 회사는 Bonsai 27B가 Qwen3.6 27B 기반이며, 1-bit 버전은 3.9GB, ternary 버전은 5.9GB라고 설명한다. 16비트 27B 모델이 대략 54GB, 4비트 빌드도 18GB 수준이라는 비교를 내세운 점을 보면 핵심은 새 모델 계열보다 압축과 런타임의 조합이다.

PrismML은 두 버전 모두 언어 네트워크 전반에 저비트 표현을 적용했고, 비전 타워는 4비트 형태로 제공한다고 밝힌다. 또 262K 토큰 컨텍스트, speculative decoding, Apple 기기용 MLX 네이티브 실행, NVIDIA CUDA 실행을 강조한다. Together AI 모델 페이지는 ternary 빌드가 1.71 bits per weight 수준의 압축을 쓴다고 설명한다. 라이선스는 Apache 2.0로 공개됐다는 점도 개발자 채택에는 중요하다.

진짜 쟁점은 벤치마크보다 반복 비용

모델 발표에서 가장 실무적인 문장은 "에이전트는 한 번 답하지 않고 수백 번 호출한다"는 부분이다. 클라우드 API는 최고 성능과 운영 편의성이 강하지만, 에이전트 루프에서는 토큰 비용, 네트워크 지연, 개인정보 이동이 매 단계 누적된다. Bonsai 27B가 주장하는 전환은 휴대폰이 데이터센터를 이긴다는 이야기가 아니라, 충분히 많은 하위 작업을 로컬로 흡수해 전체 작업 단가를 낮추는 구조다.

로컬 SOTA LLM 하드웨어 스택, Ryzen AI Halo 로컬 AI 개발 키트, Rowboat 로컬 우선 AI 동료에서 반복해서 보듯 로컬 AI의 경쟁력은 "가장 똑똑한 답"보다 "항상 켜져도 부담 없는 조력자"에 있다. 27B급 모델이 기기 안에 들어오면 문서 분류, 스크린 이해, 로컬 파일 요약, 간단한 도구 호출 계획 같은 작업을 클라우드로 보내지 않아도 된다.

압축 모델의 신뢰성은 아직 검증 대상

PrismML은 15개 벤치마크에서 ternary Bonsai 27B가 full precision 기준 95%, 1-bit가 90%를 유지한다고 주장한다. 하지만 기업 도입에서는 평균 점수보다 실패 유형이 더 중요하다. 코딩, 도구 호출, 비전 입력이 포함된 에이전트 업무에서는 한 번의 형식 오류나 잘못된 파일 조작이 전체 루프를 망칠 수 있다. 따라서 "몇 GB인가"보다 "어떤 작업에서 어느 정도로 안정적인가"가 구매와 배포의 기준이 된다.

특히 1-bit 모델은 휴대폰 실행 가능성이 매력적인 만큼, 긴 컨텍스트와 KV 캐시, 앱 메모리 제한, 발열, 배터리, 모바일 OS의 백그라운드 정책을 함께 봐야 한다. 발표가 말한 iPhone 17 Pro급 장치의 메모리 예산은 상징적이다. 실제 제품에서는 모델 파일 크기보다 사용자가 앱을 떠났을 때 세션을 어떻게 유지하는지, 개인정보를 어디에 저장하는지, 로컬 추론이 네트워크 추론보다 느릴 때 어떤 UX를 줄지가 관건이다.

한국 개발팀이 볼 실행 전략

국내 기업은 온디바이스 AI를 "모든 것을 내부망에서 해결"하는 방향으로만 보면 놓치는 것이 많다. 더 현실적인 전략은 하이브리드 라우터다. 개인 문서, 로컬 로그, 스크린샷, 고객 상담 초안처럼 민감하거나 반복적인 작업은 로컬 모델에 맡기고, 법률 해석·복잡한 설계·최종 검증은 클라우드 프런티어 모델로 올리는 방식이다. SWE-1.7 코딩 모델 비용 곡선이 보여준 것처럼 코딩 에이전트 시장은 이미 성능뿐 아니라 작업당 비용으로 경쟁한다.

개발자는 먼저 작은 실험을 할 수 있다. 로컬 모델이 처리할 태스크를 분리하고, 클라우드 모델과 같은 입력으로 비교 평가하며, 실패 시 자동 승격하는 정책을 둔다. 에이전트가 오래 돌수록 비용 차이가 커지므로 단일 프롬프트 벤치마크보다 50단계, 100단계 워크플로의 총 비용과 오류 회복률을 재야 한다.

자주 묻는 질문

Q1: Bonsai 27B가 GPT급 클라우드 모델을 대체하나요?

A: 당장 그렇게 보기 어렵다. 이 발표의 가치는 최고 성능 대체가 아니라 반복 호출이 많은 에이전트 업무를 로컬로 옮기는 가능성에 있다.

Q2: 3.9GB면 모든 휴대폰에서 실행되나요?

A: 아니다. 모델 파일이 들어가는 것과 앱이 안정적으로 추론하는 것은 다르다. 메모리 예산, KV 캐시, 발열, 배터리, 런타임 최적화가 함께 필요하다.

Q3: 왜 27B라는 크기가 의미 있나요?

A: 7B나 8B보다 복잡한 도구 호출과 다단계 추론을 기대할 수 있는 구간이기 때문이다. 다만 압축 후 품질은 태스크별 검증이 필요하다.

Q4: 기업은 어디부터 적용하면 좋나요?

A: 민감 데이터가 많고 반복 호출이 잦은 문서 분류, 로컬 검색, 스크린 요약, 초안 생성부터 실험하는 것이 현실적이다.

Q5: 한국 AI 반도체·디바이스 시장에는 어떤 신호인가요?

A: 모델 크기보다 "지능 밀도"와 런타임 최적화가 중요해진다는 신호다. 칩, 메모리, OS, 앱 UX가 한 묶음으로 경쟁하게 된다.