GPT-5.6 Sol Ultrafast, 추론 속도가 제품 전략이 됐다

초당 750 출력 토큰의 의미

Cerebras는 OpenAI와 함께 GPT-5.6 Sol Ultrafast 모드를 공개했다. 이 서비스는 OpenAI API에서 먼저 제한 프리뷰로 제공되며, Cerebras가 추론 인프라를 맡는다. 발표에 따르면 GPT-5.6 Sol Ultrafast는 초당 최대 750개 출력 토큰을 제공하고, 초기에는 선별 고객에게만 열린다. OpenAI의 Ultrafast 소개도 같은 방향을 가리킨다.

속도 발표는 흔하지만 이번 건은 조금 다르다. 프런티어 모델이 실제 업무의 "대기 시간" 안으로 들어오느냐가 쟁점이기 때문이다. 법률 검토, 장애 원인 분석, 보안 대응, 재무 모델링처럼 사람이 기다리는 시간이 곧 비용인 영역에서는 정확도가 같아도 응답 시간이 짧은 모델이 완전히 다른 제품 경험을 만든다. vLLM 해부, 추론 인프라가 제품력이 됐다가 오픈소스 서빙 계층을 봤다면, 이번 발표는 전용 칩과 API 상품이 같은 문제를 상업화한 사례다.

벤치마크는 지능보다 시간표를 보여준다

Cerebras는 Ultrafast가 Artificial Analysis가 보고한 출력 속도 기준으로 Fable 5보다 11배, Opus 4.8 Fast 모드보다 5배 빠르다고 주장했다. 자체 평가에서는 Humanity's Last Exam 2,500문항을 11시간 11분에 처리했고, Claude Fable 5는 78시간 27분이 걸렸다고 밝혔다. GDP-Val에서는 품질 저하 없이 5.6배 end-to-end 속도 향상을 냈다고 한다.

이 숫자는 독립 검증이 필요한 벤치마크이지만, 제품 관점의 메시지는 분명하다. 기존에는 고성능 모델을 쓰면 사용자가 기다려야 했고, 빠른 모델을 쓰면 품질을 포기해야 했다. Ultrafast는 이 교환관계를 줄이겠다는 상품이다. 암호화된 추론 흔적, API 보안 경계가 흔들렸다에서 봤듯 API 사용이 늘수록 성능뿐 아니라 보안과 관측도 같이 중요해진다.

Cerebras의 기술 주장은 데이터 이동 문제다

Cerebras는 빠른 프런티어 추론을 "데이터 이동 문제"로 설명한다. GPU 기반 대형 모델 추론에서는 다음 토큰을 만들 때마다 모델 가중치와 중간 상태를 칩 안팎으로 옮기는 비용이 커진다. 회사는 Wafer-Scale Engine에 44GB SRAM을 넣어 가중치를 온칩에 유지하고, 여러 웨이퍼에 걸쳐 토큰 흐름을 파이프라인화한다고 주장한다. 관련 제품 설명은 Cerebras Wafer Scale Engine, Cerebras inference 문서, Cerebras Cloud에서 이어진다.

이 접근은 엔비디아 GPU 생태계와 다른 방향이다. GPU는 범용성과 소프트웨어 생태계가 강하고, Cerebras는 특정 대형 모델 추론에서 데이터 이동을 줄이는 전용 구조를 강조한다. Stoa, GPU를 거래 가능한 AI 자산으로 만들려 한다처럼 GPU 공급과 유동성이 중요한 시장에서도, 일부 고가치 워크로드는 전용 추론 경로를 살 수 있다.

한국 기업의 구매 기준이 바뀐다

한국 기업은 모델 계약을 할 때 여전히 정답률, 월 구독료, 데이터 보관 조건을 먼저 본다. 하지만 에이전트가 업무 경로에 들어가면 "얼마나 빨리 생각하느냐"가 SLA가 된다. 고객센터 상담원이 기다리는 10초, 보안 관제자가 공격 로그를 보는 1분, 개발자가 CI 실패 원인을 기다리는 30초는 모두 비용이다.

따라서 Ultrafast류 상품은 고가 옵션으로만 볼 일이 아니다. 모든 요청을 빠른 티어로 보낼 필요는 없지만, 장애 대응, 실시간 고객 대화, 코딩 에이전트의 테스트 루프처럼 지연이 곧 손실인 구간에는 별도 라우팅이 필요하다. HyperProbe, 온콜 에이전트가 증거를 잡는 방식과 함께 보면, 관측 도구와 추론 속도가 하나의 제품 표면으로 합쳐지고 있다.

자주 묻는 질문

Q1: Ultrafast는 누구나 쓸 수 있나요?

A: 발표 시점에는 제한 프리뷰다. Cerebras는 선별 고객에게 먼저 제공하고 용량이 늘면 접근을 확대한다고 밝혔다.

Q2: 초당 750 토큰이면 무엇이 달라지나요?

A: 긴 답변이 빨라지는 것보다 상호작용 루프가 짧아지는 효과가 크다. 에이전트가 계획, 실행, 검증을 여러 번 반복할 때 대기 시간이 크게 줄어든다.

Q3: Cerebras 수치를 그대로 믿어도 되나요?

A: 공급사 벤치마크이므로 독립 검증이 필요하다. 다만 HLE 2,500문항 처리 시간과 GDP-Val 속도 향상은 추론 속도 경쟁의 방향을 보여주는 신호다.

Q4: GPU가 필요 없어진다는 뜻인가요?

A: 아니다. 범용 학습과 다양한 추론 워크로드에서는 GPU 생태계가 여전히 강하다. 다만 지연시간이 중요한 일부 프런티어 추론은 전용 경로가 생길 수 있다.

Q5: 국내 서비스는 무엇부터 측정해야 하나요?

A: 평균 응답 시간이 아니라 p95 첫 토큰 지연, 전체 완료 시간, 실패 후 재시도 시간, 업무별 손실 비용을 측정해야 한다.