집 안의 AI 서버, 로컬 추론 경제학의 민낯

클라우드가 불안해서 직접 짓는 작은 데이터센터

AI At Home Part 1: A Box Of Scraps는 개발자가 집에 작은 AI 데이터센터를 만들기 시작한 기록이다. 글쓴이는 클라우드 AI 서비스에 의존하면 가격, 접근권, 제품 정책 변화에 휘둘린다고 느끼고, 중고 부품으로 로컬 추론 장비를 조립한다. 목표는 AMD V620 GPU 네 장, X299 메인보드, Intel Core i9-10900X, 1600W 파워, Ubuntu 24.04, llama.cpp를 엮어 Deepseek V4 Flash 같은 모델을 돌리는 것이다.

이 이야기가 흥미로운 이유는 로컬 AI 담론의 낭만과 현실을 동시에 보여주기 때문이다. 로컬 추론은 데이터 통제, 오프라인 사용, 예측 가능한 비용의 장점이 있다. 하지만 실제로는 서버용 GPU의 냉각, BIOS 설정, Resizable BAR, MMIO High Size, 팬 제어, 드라이버 지원, 소음, 전력 피크가 한꺼번에 따라온다. AirLLM, 작은 GPU 추론의 경제학을 흔들다가 소프트웨어적 절약을 다뤘다면, 이 글은 하드웨어적 절약의 거친 표면을 보여준다.

싸게 산 GPU는 싸게 운영되지 않는다

AMD V620은 원래 클라우드 게이밍용 워크스테이션 GPU 계열에서 나온 카드로, 영상 출력이 없고 32GB VRAM을 갖춘 서버 카드다. 글쓴이는 클라우드 게이밍 붐이 꺼진 뒤 남은 중고 물량을 활용했다. 문제는 이 카드가 AI 워크로드를 위해 친절하게 준비된 제품이 아니라는 점이다. 팬이 없고, 서버 섀시의 강한 공기를 전제로 하며, AMD 소프트웨어 지원도 NVIDIA 생태계만큼 매끄럽지 않다.

그래서 프로젝트의 상당 부분은 모델 실행이 아니라 물리적 운영이다. 3D 프린팅으로 팬 슈라우드를 만들고, 80mm 서버 팬을 붙이고, 팬 제어가 안 되자 Arduino Nano 호환 보드로 컨트롤러를 만든다. 모델은 자체 팬 제어 스크립트 작성에도 쓰인다. 이 장면은 로컬 AI가 "모델을 다운로드하면 끝"이 아니라 전력과 열을 다루는 시스템 엔지니어링임을 잘 보여준다.

llama.cpp가 로컬 추론의 공통어가 되는 이유

글쓴이는 Ubuntu 24.04에서 llama.cpp를 빌드해 Gemma4와 Deepseek V4 Flash를 시험했다. llama.cpp 프로젝트는 다양한 CPU와 GPU 백엔드에서 LLM 추론을 돌리는 대표적 오픈소스 런타임이고, GGUF 생태계와 함께 개인·소규모 팀의 로컬 실험 기반이 됐다. Muse Glimmer 30B, 로컬 에이전트의 기준선을 올리다에서 본 로컬 모델 흐름과 맞물린다.

다만 로컬 추론은 모델 파일을 받는 순간 끝나지 않는다. VRAM에 모델이 들어가는지, 여러 GPU에 어떻게 나눌지, 추론 서버가 어떤 백엔드를 쓰는지, 드라이버가 실제 성능을 내는지 확인해야 한다. vLLM 문서나 Ollama 같은 도구가 편의성을 높였지만, 특이한 중고 하드웨어에서는 결국 낮은 수준의 디버깅이 필요하다.

한국 개발자에게 필요한 현실적인 기준

한국에서도 로컬 AI에 대한 관심은 커지고 있다. 연구실, 병원, 제조 현장, 법무·보안 조직은 데이터 반출이 어렵고, 개인 개발자는 클라우드 요금과 정책 변경이 부담스럽다. 그러나 전기료, 소음, 발열, 부품 수급, 장애 대응까지 계산하면 "GPU가 싸다"는 판단만으로는 부족하다. 특히 사무실이나 가정에서 서버용 팬을 상시 돌리는 것은 운영 환경에 맞지 않을 수 있다.

실용적인 접근은 하이브리드다. 민감 데이터 요약, 내부 검색, 짧은 코딩 보조는 로컬 모델로 처리하고, 긴 추론이나 고정확도 업무는 클라우드 프런티어 모델로 넘긴다. Needle 2 14MB, 에이전트 모델의 최소 단위를 묻다처럼 작은 모델의 역할이 커지는 것도 이 때문이다. 중요한 것은 이념이 아니라 라우팅이다.

자주 묻는 질문

Q1: 집에서 AI 서버를 만드는 것이 경제적인가요?

A: 워크로드가 꾸준하고 운영 지식이 있으면 가능성이 있다. 하지만 전력, 냉각, 소음, 장애 시간을 포함하면 단순 GPU 가격보다 비싸질 수 있다.

Q2: AMD V620 같은 중고 GPU가 좋은 선택인가요?

A: VRAM 대비 가격은 매력적일 수 있지만 드라이버와 소프트웨어 지원이 어려울 수 있다. 실험용과 운영용을 구분해야 한다.

Q3: llama.cpp만 있으면 충분한가요?

A: 작은 실험에는 충분할 수 있다. 다중 GPU, 높은 동시성, 서비스 운영까지 가면 vLLM, SGLang, 관측 도구 등 다른 계층도 검토해야 한다.

Q4: 로컬 AI의 가장 큰 장점은 무엇인가요?

A: 데이터 통제와 독립성이다. 네트워크나 공급사 정책 변화에 덜 흔들리고 내부 자료를 외부로 보내지 않아도 된다.

Q5: 국내 팀은 어떤 방식으로 시작해야 하나요?

A: 먼저 민감도와 호출량이 높은 좁은 업무를 고르고, 전력·냉각·장애 대응 비용을 포함한 총소유비용을 계산한 뒤 클라우드와 비교해야 한다.