Polsia 의혹, AI 스타트업 실사의 새 기준

HN에 오른 Polsia — the receipts는 한 AI 스타트업의 성장 지표를 공개 API와 소스맵으로 재구성했다는 주장이다. 글은 Polsia가 “AI 공동창업자”와 “자율 회사”를 내세우며 3,000만달러를 조달했고, 1,000만달러 ARR과 12만개 이상 회사를 홍보했지만 실제 반복 매출과 활성 사용자는 훨씬 낮다고 비판한다. 또한 인간 리뷰어의 채점, 운영자 로그인, 모든 회사에 대한 강력한 override 권한이 코드에 드러난다고 주장한다.

중요한 점은 이 글의 모든 주장을 그대로 확정 사실로 받아들이는 것이 아니다. 공개 페이지 자체가 검증 대상이고, 당사자의 반론도 필요하다. 다만 AI 투자 시장이 배워야 할 실사 방법은 분명하다. “AI가 회사를 운영한다”는 제품 서사는 매출 정의, 활성도, 사람 개입, 관리자 권한이라는 네 가지 질문으로 쪼개야 한다. AI 스타트업 ARR 부풀리기, 성장 서사의 비용이 다룬 문제의 더 기술적인 버전이다.

ARR은 월매출 곱하기 12가 아니다

ARR은 annual recurring revenue, 즉 매년 반복될 것으로 합리적으로 기대되는 매출이다. Stripe의 ARR 설명과 SaaStr의 ARR 해설이 강조하듯 일회성 수익, 광고성 지출, 급격히 이탈하는 고객 매출을 같은 무게로 볼 수 없다. Polsia 비판 글은 회사가 한 달 현금흐름에 12를 곱한 숫자를 크게 보여줬고, 월 churn이 높으면 실제로 1년 뒤 남는 반복 매출은 거의 사라진다고 주장한다.

AI 스타트업에서 이 문제가 더 심각한 이유는 초기 사용량이 호기심과 크레딧, 바이럴 데모에 의해 부풀어질 수 있기 때문이다. 사용자가 “회사를 만들었다”는 이벤트와 “계속 돈을 내며 업무를 맡겼다”는 이벤트는 전혀 다르다. Sierra 9.5억달러 기업용 AI 에이전트 경쟁이 보여준 엔터프라이즈 에이전트 시장에서도 반복 사용과 고객 유지가 핵심 지표다.

자율성 주장은 로그로 봐야 한다

AI 에이전트 제품은 “사람 없이 돌아간다”고 말하기 쉽다. 그러나 실제 운영에는 평가자, 품질관리, 예외 처리, 고객 지원, 프롬프트 수정이 붙는다. 이것이 나쁜 것은 아니다. 문제는 인간 개입을 제품 가치의 일부로 설명하지 않고 순수 자율성으로 포장할 때 생긴다. Voker, 에이전트 분석을 제품 지표로 끌어올리다처럼 에이전트 성공률, 실패 원인, 사람 개입률을 제품 지표로 공개하는 쪽이 오히려 신뢰를 얻을 수 있다.

보안 관점도 있다. 비판 글이 주장한 god-mode override가 사실이라면 고객은 자신의 AI 회사가 어디까지 자기 통제 아래 있는지 확인해야 한다. GitHub Secret Scanning 문서처럼 개발 플랫폼은 비밀정보 노출을 막는 도구를 제공하지만, 관리자 권한 설계와 고객 데이터 분리는 제품 아키텍처의 문제다. 에이전트가 결제, 고객 커뮤니케이션, 코드 배포를 맡을수록 override 권한은 사고 시 피해 범위를 결정한다.

한국 투자자와 기업 고객의 질문

국내 VC와 기업 구매팀은 AI 데모의 매끈함보다 원장을 봐야 한다. 계약서상 반복 매출, cohort retention, 환불·크레딧 처리, 사람 개입 비용, 모델·컴퓨트 원가, 관리자 권한, 고객 데이터 격리 방식이 기본 질문이다. AI 사용률 KPI가 만들 수 있는 가짜 생산성이 내부 지표의 착시를 말했듯, 외부 투자 지표도 같은 착시를 만든다.

OpenView의 SaaS 벤치마크나 Bessemer의 State of the Cloud 같은 자료는 성장률과 유지율을 함께 보라고 말한다. AI 시대에는 여기에 “autonomy retention”을 더해야 한다. 고객이 첫 주에는 AI에게 맡겼다가 둘째 달부터 다시 사람에게 돌려보낸다면 제품은 자율 시스템이 아니라 신기한 온보딩 도구일 수 있다.

결론

Polsia 논란은 특정 회사의 진위 공방을 넘어, AI 스타트업 실사의 언어를 바꾼다. ARR은 반복성으로, 활성도는 최근 행동으로, 자율성은 사람 개입률로, 안전성은 권한 경계로 검증해야 한다. AI가 만든 가장 큰 착시는 제품 데모가 아니라 숫자에도 생긴다.

FAQ

이 글은 Polsia 의혹을 사실로 단정하나?

아니다. 공개 비판 글의 주장으로 다루며, 당사자 반론과 독립 검증이 필요하다는 전제를 둔다.

ARR에서 가장 흔한 착시는 무엇인가?

한 달 총 현금흐름에 12를 곱하고 일회성 매출이나 빠르게 이탈하는 고객을 반복 매출처럼 보는 것이다.

AI 스타트업의 자율성은 어떻게 검증하나?

사람 개입률, 실패 후 복구 방식, 평가자 운영, 관리자 override 로그, 고객 승인 절차를 봐야 한다.

기업 고객에게 가장 중요한 보안 질문은 무엇인가?

벤더 관리자가 고객의 에이전트와 데이터에 어떤 권한을 갖는지, 그 권한이 기록·승인·제한되는지다.

투자자는 무엇을 요구해야 하나?

코호트 retention, 순매출 유지율, 컴퓨트 원가, human ops 비용, 공개 API와 로그 기반 검증 자료를 요구해야 한다.