llmspeed, 로컬 AI 구매 전에 속도의 근거를 묻다

llmspeed는 GPU나 Mac, 모델을 고르면 예상 속도로 텍스트가 출력되는 모습을 보여주는 로컬 LLM 비교 도구다. 초당 토큰 수만 나열한 표보다 실제 대화가 얼마나 답답하거나 자연스러울지 이해하기 쉽다. 다만 화면의 출력은 선택한 장비에서 지금 모델을 돌린 결과가 아니라 예측에 기반한 시뮬레이션이다.

10월 17일 개발자 커뮤니티에 소개된 이 프로젝트의 핵심은 빠른 하드웨어 순위보다 근거의 등급을 표시한다는 데 있다. 실측값, 유사 구성에서 유도한 값, 사양에서 전망한 값을 구분하지 않으면 보기 좋은 속도 체험이 오히려 잘못된 구매 확신을 줄 수 있다.

숫자 옆의 세 가지 라벨부터 읽어야 한다

프로젝트 저장소는 30개 GPU·Mac·CPU 구성과 15개 모델, CUDA·Metal·ROCm·Vulkan·CPU 백엔드를 지원한다고 설명한다. 이 조합 전체가 실제 측정됐다는 뜻은 아니다. 각 수치의 출처와 추정 방식을 따로 봐야 한다.

특히 공개되지 않았거나 아직 실측이 없는 하드웨어의 전망치를 확정 성능으로 인용해서는 안 된다. 프로젝트가 내놓은 조합 수는 탐색 범위의 설명이지 제품별 검증 완료 인증이 아니다.

생성 속도와 첫 응답 대기는 다른 문제다

LLM의 사용감은 적어도 입력을 처리하는 단계와 토큰을 생성하는 단계로 나뉜다. 짧은 질문에서 초당 토큰 수가 높아도 긴 문서의 첫 답변이 늦을 수 있다. 에이전트는 파일을 읽고 도구 결과를 다시 입력하기 때문에 이 차이가 더 커진다.

llmspeed의 README는 생성 속도에 메모리 대역폭, 프롬프트 처리에 연산량을 활용하고, 백엔드별 효율과 문맥 증가에 따른 감속을 보정한다고 설명한다. 이는 도구의 추정 모델에 대한 설명이다. 모든 추론 시스템의 병목을 하나의 식으로 정확히 예측한다는 의미는 아니다.

LocalScore는 입력 처리량, 생성 처리량, 첫 토큰 지연을 나눠 보여주는 참고 자료다. 수치 하나로 순위를 정하기보다 자신이 하는 일이 짧은 대화인지 긴 문서 분석인지 먼저 정하는 편이 낫다. 본지의 추론 연산량과 실제 운영비 분석에서처럼 빠른 연산과 낮은 업무 비용도 같은 개념이 아니다.

모델이 메모리에 들어가는지가 먼저다

큰 모델은 생성 속도 이전에 적재 가능성부터 확인해야 한다. 프로젝트는 가중치뿐 아니라 KV 캐시와 런타임 여유 공간을 고려한다고 설명한다. Mac 통합 메모리는 약 75%, 개별 GPU VRAM은 약 93%를 사용할 수 있다고 가정하지만, 이는 시뮬레이터의 가정이지 모든 시스템에 고정된 하드웨어 규칙은 아니다.

메모리를 넘는 일부 데이터를 시스템 RAM에 두면 실행 자체는 가능할 수 있으나 전송과 접근 비용이 늘어난다. 따라서 '실행 가능'과 '실용적인 응답 시간'을 구별해야 한다. 양자화를 더 강하게 적용하면 적재 조건은 바뀌지만, 정확도와 업무 성공률도 함께 평가해야 한다.

이 쟁점은 PS5LM의 로컬 추론 조건과도 이어진다. 남는 장비를 활용하는 실험과 안정적으로 운영할 시스템의 구매 기준은 같지 않다.

한국어 업무에서는 직접 재현할 항목이 늘어난다

한국 개발팀이 구매 후보를 정했다면 실제 프롬프트로 첫 토큰 시간, 전체 응답 시간, 반복 실행의 편차를 측정해야 한다. 같은 글자 수라도 토큰 수는 언어와 모델의 토크나이저에 따라 다르므로 영어 데모의 속도를 한국어 문서 처리 시간으로 그대로 바꿀 수 없다.

llama.cpp의 llama-bench는 재현 가능한 측정을 위한 출발점이다. llmspeed가 제안하는 예시는 입력 512토큰과 생성 128토큰을 사용하는 벤치마크다. 이 설정만으로 긴 계약서, 코드 저장소, 여러 사용자의 동시 요청을 대표할 수는 없다.

비교 실험에서는 모델 파일과 양자화, 엔진 버전, 입력 길이를 고정해야 한다. 노트북이라면 전원 연결, 발열 누적, 다른 앱의 메모리 점유도 기록할 필요가 있다. 프로젝트는 드라이버·엔진·전력·발열에 따라 실제 수치가 10~30% 달라질 수 있다고 경고한다. 이를 모든 조합의 통계적 신뢰구간으로 받아들이지는 말아야 한다.

경쟁의 의미는 벤치마크를 설명하는 인터페이스

llmspeed는 새 모델이나 추론 엔진보다 구매 판단을 돕는 인터페이스에 가깝다. 같은 숫자라도 지연을 직접 체험하면 사용자는 메모리 용량과 응답 속도의 교환관계를 이해하기 쉽다. 출처 라벨을 함께 보여주는 방식은 벤치마크 도구가 지향할 만한 장점이다.

반대로 README는 단일 장치만 다루며 다중 GPU 구성을 아직 시뮬레이션하지 않는다고 명시한다. 여러 Mac을 연결한 추론 분석처럼 분산 추론에는 통신과 배치 조건이 더해진다. 이 도구의 결과를 확장해 클러스터 구매 견적에 쓰는 것은 범위를 벗어난다.

FAQ

브라우저에서 실제 모델을 실행하나?

프로젝트 설명상 예상 처리량과 첫 토큰 지연에 맞춰 출력을 재현한다. 선택한 원격 장비에서 실시간으로 벤치마크를 실행하는 서비스는 아니다.

Measured이면 결과가 항상 같나?

아니다. 같은 하드웨어라도 엔진, 드라이버, 문맥 길이, 전력과 발열 조건에 따라 달라질 수 있다.

Projected는 구매 근거로 쓰면 안 되나?

후보를 탐색하는 참고치는 될 수 있다. 다만 실제 구매 결정 전에는 같은 구성의 실측이나 반품 가능한 검증 절차가 필요하다.

두 장의 GPU 성능도 예측할 수 있나?

확인한 README는 단일 장치 범위라고 명시한다. 다중 GPU의 메모리 분할과 통신 비용은 별도 측정해야 한다.

한국어 모델을 고를 때 가장 중요한 것은?

속도와 함께 실제 한국어 업무의 정답률을 확인하는 것이다. 빨리 출력해도 수정과 재시도가 늘면 업무 전체 시간은 줄지 않는다.