Cerebras의 3조 모델 설명, 속도 뒤의 메모리 계산

거대한 모델을 빠르게 실행하려면 가장 큰 칩 하나에 전부 넣어야 할까. Cerebras가 공개한 설명은 다른 답을 제시한다. 가중치를 여러 웨이퍼의 온칩 메모리에 나누어 고정하고, 중간 계산 결과를 파이프라인으로 흘려보내는 방식이다.

공식 설명의 숫자와 전제

Cerebras는 2026년 10월 22일 기술 블로그에서 WSE-3T 웨이퍼의 온칩 메모리를 44GB로 제시했다. 예시로 든 Kimi K3는 약 3조 파라미터, 선형 어텐션 계층 69개와 원문에서 dense로 부르는 전체 어텐션 계층 24개로 구성된다고 설명한다.

계산에는 4비트 가중치와 8비트 KV 캐시, 평균 요청 크기 256k라는 가정이 들어간다. 모델의 실제 세부 내용은 Kimi K3 설명과 공개 모델 자료에서 함께 검토할 수 있다. 여기서 dense라는 표현은 원문의 어텐션 계층 구분이며, 이를 모델 전체가 MoE가 아닌 완전 밀집 모델이라는 의미로 확대해서는 안 된다.

3조 개 파라미터에 4비트를 적용하면 순수 가중치 데이터는 십진 단위로 약 1.5TB다. 이를 93개 계층에 단순 배분하면 계층당 약 16GB가 된다. 실제 모델의 계층별 크기가 완전히 같다는 실측이 아니라 원문이 배치 원리를 설명하기 위해 사용한 계산이다.

59개 웨이퍼는 무엇을 뜻하나

원문은 선형 어텐션 계층 두 개를 한 웨이퍼에 배치하고, 전체 어텐션 계층은 하나씩 배치하는 예시를 든다. 전체 어텐션에서는 요청마다 KV 캐시를 보관할 공간이 필요하기 때문이다. 선형 어텐션도 상태가 없는 것이 아니라 문맥 길이에 따라 같은 방식으로 커지지 않는 비교적 작은 상태를 유지한다는 설명이다.

이 표의 숫자만으로 랙 수, 전력, 실제 서비스 가격을 계산할 수는 없다. 연결 장비와 운영 여유분, 런타임 메모리, 장애 대응 등 별도 조건이 필요하다. 59라는 숫자는 ‘3조 모델은 언제나 이만큼 필요하다’는 보편 법칙이 아니다.

분산 로컬 추론의 메모리 조건과 마찬가지로, 가중치가 들어간다는 사실과 만족스러운 서비스가 가능하다는 사실은 다른 단계다.

한 요청의 속도와 전체 처리량은 다르다

Cerebras는 계층 간에 가중치 전체가 아니라 활성값을 전달하며, RDMA over Ethernet의 홉당 지연을 대략 2마이크로초로 설명한다. 이것을 전체 응답 지연으로 읽으면 안 된다. 모델 계산, 여러 단계 통과, 입력 처리, 스케줄링이 더해진다.

파이프라인은 여러 요청을 서로 다른 단계에서 동시에 처리할 수 있다. 한 요청이 뒤쪽 계층을 통과하는 동안 다른 요청이 앞쪽 계층에 들어오는 방식이다. 단계별 마이크로배치를 크게 하면 총 처리량을 높일 수 있지만, 개별 요청의 지연과 균형을 맞춰야 한다고 원문은 설명한다.

블로그가 언급하는 초당 1,000~2,000개 이상 토큰은 공급자의 설명이다. 모든 모델, 요청 길이, 동시 사용자 조건에서의 독립 검증 결과로 볼 수 없다. 특히 첫 토큰까지의 시간과 이후 토큰 생성 속도는 따로 보고해야 한다. 긴 문서를 읽는 에이전트라면 출력 속도만 빠르다고 전체 작업이 같은 배수로 빨라지지 않는다.

llmspeed의 성능 근거 구분에서 다뤘듯, 설명용 계산과 실측 벤치마크의 표시를 나누는 것이 중요하다. 이 기사 역시 해당 구성을 직접 실행하거나 성능을 재현하지 않았다.

한국 기업의 인프라 비교 기준

GPU와 웨이퍼 기반 시스템을 비교할 때 ‘어느 쪽이 더 빠른가’라는 단일 질문은 부족하다. 동일한 모델과 양자화 조건, 문맥 길이, 출력 길이, 동시 요청 수에서 지연시간 분포를 측정해야 한다. 한국 사용자가 접근할 때의 네트워크 거리와 서비스 지역도 포함된다.

가령 고객 상담처럼 짧은 대화가 많은 서비스와 코드 에이전트처럼 긴 문맥을 반복해서 읽는 서비스는 KV 캐시 요구가 다르다. 동시 요청 수를 늘리다가 메모리 한계에 가까워지면 대기 시간이 생길 수 있다. 평균 생성 속도가 빠르더라도 혼잡 시간의 사용자 경험은 달라질 수 있다.

Cerebras는 같은 출력 생성 속도에서 전력당 총 토큰 처리량을 비교하는 것이 의미 있다고 제안한다. 이는 유용한 비교 축이지만, 구매자는 가격과 가용성, 모델 지원 범위도 함께 확인해야 한다. 칩 소개 자료는 구조를 이해하는 보조 자료이지 고객 업무의 비용 보증서는 아니다.

EPFL 연구의 전력 예산처럼 전력 지표도 측정 범위를 따져야 한다. 칩 단위와 시스템 단위, 유휴 상태와 부하 상태를 섞으면 비교가 왜곡된다. 최종 판단 기준은 특정 하드웨어에 대한 선호가 아니라 서비스 품질을 만족하는 완료 업무당 비용이다.

자주 묻는 질문

3조 파라미터 모델이 한 웨이퍼에 들어가나?

아니다. 이번 설명은 여러 웨이퍼에 계층과 요청 상태를 분산하는 방식이다.

59개 웨이퍼가 실제 최소 요구량인가?

원문 가정에 따른 예시다. 모델 표현과 문맥, 동시성, 런타임 구성에 따라 달라질 수 있다.

선형 어텐션은 메모리를 전혀 안 쓰나?

아니다. 요청별 상태를 유지한다. 전체 어텐션의 KV 캐시와 문맥 길이에 따른 증가 방식이 다르다는 의미다.

초당 토큰 수가 높으면 모든 작업이 빨라지나?

그렇지 않다. 입력 처리, 외부 도구, 네트워크와 대기 시간이 전체 완료 시간에 포함된다.

국내 팀이 먼저 요청할 자료는 무엇인가?

자사 문맥 길이와 동시성에서의 첫 토큰 지연, 생성 속도 분포, 비용 및 측정 범위를 요청하는 것이 좋다. 공급자의 대표 수치와 자사 실측을 구분해야 한다.