tiny-vLLM, 추론 엔진을 직접 짜야 보이는 병목

작은 vLLM을 만드는 프로젝트

tiny-vLLM은 C++와 CUDA로 고성능 LLM 추론 엔진을 직접 구현하는 오픈소스 학습 프로젝트다. README는 Llama 3.2 1B Instruct를 Safetensors에서 로드하고, prefill과 decode, KV cache, static batching, continuous batching, online softmax, PagedAttention까지 다룬다고 설명한다. vLLM을 축소한 장난감이 아니라 추론 서버의 주요 병목을 한 번씩 직접 만지게 하는 커리큘럼에 가깝다.

이 프로젝트가 흥미로운 이유는 "LLM을 어떻게 호출할까"가 아니라 "토큰이 실제로 어떻게 나온다는 뜻인가"를 묻기 때문이다. API 가격표만 보는 개발자는 입력 토큰, 출력 토큰, 지연시간을 외부 변수로 받아들인다. 반면 추론 엔진을 이해하면 batch, KV cache, 메모리 대역폭, attention kernel이 제품 비용과 사용자 경험을 어떻게 바꾸는지 설명할 수 있다.

Deep Learning Brrr, 첫 원리로 되돌아가는 학습법과 같은 흐름이 다시 주목받는 이유도 여기에 있다. 에이전트가 코드를 써주는 시대일수록 개발자는 더 낮은 계층의 병목을 이해해야 한다.

PagedAttention은 왜 계속 등장하나

vLLM 문서와 PagedAttention 논문은 LLM serving에서 KV cache 관리가 핵심 병목임을 보여준다. 긴 대화와 다중 요청을 처리할 때 각 요청의 토큰 상태를 효율적으로 저장하고 재사용하지 못하면 GPU 메모리가 빠르게 낭비된다. tiny-vLLM이 Paged KV cache와 Paged Attention CUDA kernel을 커리큘럼 후반에 배치한 것도 이 때문이다.

NVIDIA CUDA 문서를 열어본 적 없는 웹 개발자에게도 이 주제는 멀리 있지 않다. AI 기능이 제품의 기본 흐름에 들어오면 지연시간은 백엔드 SLO가 되고, 토큰 처리량은 원가가 되며, 모델 선택은 UX 결정이 된다. RTX 5090과 MacBook Air eGPU 실험이 개인 개발자 실험처럼 보여도, 그 밑에는 같은 추론 경제가 깔려 있다.

교육용 구현의 강점과 한계

tiny-vLLM은 프로덕션 서버를 당장 대체하려는 도구가 아니다. README도 학습 도구와 강의 자료로 쓰라고 말한다. Hugging Face Safetensors는 안전한 텐서 저장 포맷을 제공하고, vLLM, SGLang, TensorRT-LLM 같은 실제 serving 도구는 훨씬 넓은 모델 지원과 운영 기능을 갖고 있다. tiny-vLLM의 장점은 범용성이 아니라 보이는 코드다.

한국 개발팀에는 이 차이가 중요하다. 사내 AI 플랫폼 팀이 없다면 대부분은 외부 API나 관리형 inference endpoint를 쓴다. 그래도 추론 엔진의 기본 구조를 이해한 개발자는 캐시 정책, batch 크기, max token, streaming, retry, tool call 설계를 더 현실적으로 잡는다. Semble, 에이전트 코드 검색의 토큰세를 줄이다에서 본 것처럼 토큰 낭비는 곧 비용과 속도 문제다.

에이전트 시대의 인프라 문해력

코딩 에이전트가 커질수록 추론 엔진은 더 중요한 인프라가 된다. 에이전트는 한 번의 답변보다 많은 중간 사고, 도구 호출, 파일 읽기, 재시도를 만든다. 작은 비효율이 누적되면 사용자 한 명의 작업이 수십만 토큰으로 커진다. 그러면 모델 품질만큼 serving 효율이 중요해진다.

Boring languages, LLM 코딩 에이전트의 현실적 기반은 익숙한 언어와 도구가 에이전트 협업에 유리하다고 봤다. tiny-vLLM은 반대로 낮은 계층의 낯선 지식을 익숙하게 만드는 통로다. 둘은 충돌하지 않는다. 팀은 제품 코드는 단순하게 유지하되, AI 비용을 결정하는 계층은 더 정확히 이해해야 한다.

자주 묻는 질문

Q1: tiny-vLLM은 실제 서비스에 써도 되나요?

A: 목적은 학습에 가깝다. 프로덕션에는 vLLM, SGLang, TensorRT-LLM 같은 성숙한 도구를 검토하는 편이 안전하다.

Q2: CUDA를 몰라도 읽을 수 있나요?

A: 완전히 쉽지는 않지만 커리큘럼형 README라 단계적으로 따라갈 수 있다. C++와 GPU 기본 지식이 있으면 좋다.

Q3: 왜 Llama 3.2 1B를 쓰나요?

A: 작고 다루기 쉬운 실제 모델이라 추론 엔진 구조를 실습하기 좋다. 큰 모델보다 학습 비용이 낮다.

Q4: 웹 개발자에게도 필요한 지식인가요?

A: AI 기능의 지연시간과 비용을 책임진다면 필요하다. 직접 커널을 짜지 않아도 병목의 언어는 알아야 한다.

Q5: 가장 먼저 봐야 할 개념은 무엇인가요?

A: prefill, decode, KV cache, batching 네 가지다. 이 네 개가 대부분의 추론 비용 대화를 이해하게 해준다.