HBM이 AI 칩 비용의 63%가 됐다는 의미

GPU보다 메모리가 비싸지는 순간

Epoch AI의 2026년 5월 21일 분석은 AI 칩 원가 구조의 중심이 어디로 이동했는지 선명하게 보여준다. Nvidia, AMD, Google, Amazon이 설계한 AI 칩을 생산량으로 가중 평균했을 때, 고대역폭 메모리 HBM은 2024년 1분기 전체 부품 지출의 52%에서 2025년 4분기 63%로 상승했다. 같은 기간 로직 다이는 약 13% 수준에서 큰 변화가 없었고, 고급 패키징은 19%에서 15%, 보조 부품은 15%에서 9%로 내려갔다.

절대액도 크다. Epoch AI는 네 개 설계사의 HBM 지출이 2024년 약 120억 달러에서 2025년 약 320억 달러로 증가했다고 추정한다. AI 칩 가격 논쟁이 GPU 코어 수, FLOPS, 공정 미세화에 머물러 있을 때 실제 비용 압박은 메모리 스택에서 더 빠르게 커진 셈이다. AgentHub가 다룬 xAI 가스터빈 논란, AI 인프라의 비용을 드러내다처럼 전력과 데이터센터가 주목받았지만, 칩 내부에서는 HBM이 또 다른 병목으로 떠올랐다.

63%라는 숫자가 바꾸는 협상력

HBM은 GPU 옆에 쌓는 고속 메모리다. 대규모 모델 학습과 추론은 파라미터와 KV 캐시, 활성값을 계속 이동시키기 때문에 메모리 대역폭이 성능을 좌우한다. NVIDIA H100 아키텍처 자료는 HBM 대역폭을 핵심 성능 지표로 제시하고, AMD Instinct MI300X 페이지 역시 대용량 HBM을 강조한다. 이제 이 사양은 마케팅 포인트를 넘어 원가 구조의 핵심 변수가 됐다.

이 변화는 SK hynix, Samsung Electronics, Micron 같은 메모리 기업의 협상력을 키운다. 반대로 클라우드 사업자와 AI 모델 기업에는 비용 예측성을 낮추는 요인이다. Epoch AI는 Microsoft의 2026 회계연도 1,900억 달러 capex 전망 중 약 250억 달러가 부품 가격 상승과 관련된다고 언급했고, Meta도 2026년 capex 범위를 100억 달러 상향하며 부품 가격을 이유로 들었다고 정리했다.

한국 기업에는 기회이자 압박

한국은 HBM 공급망에서 강한 위치를 갖고 있다. SK hynix HBM 제품 페이지와 Samsung HBM 소개가 보여주듯 국내 메모리 기업은 AI 수요를 직접 흡수하는 몇 안 되는 포지션에 있다. 다만 이 기회는 단순히 “메모리를 많이 팔 수 있다”로 끝나지 않는다. 고객사는 더 높은 대역폭, 낮은 전력, 안정적인 수율, 패키징 파트너십까지 요구한다.

AI 서비스를 만드는 한국 스타트업에는 반대 방향의 압박이 온다. HBM 가격이 올라가면 클라우드 GPU 임대료와 장기 예약 가격도 늦게나마 반영된다. AI 에이전트도 클라우드 비용을 알아야 한다에서 지적했듯, 에이전트가 무제한으로 토큰과 GPU 시간을 쓰는 구조는 점점 위험해진다. 모델 선택, 캐시 전략, 배치 추론, 온디바이스 경량화가 비용 관리의 기본기가 된다.

AI 모델 경쟁은 메모리 최적화 경쟁으로 이동한다

HBM 비중 상승은 모델 아키텍처에도 영향을 준다. 추론에서 KV 캐시가 커질수록 메모리 용량과 대역폭이 비용을 결정한다. 긴 컨텍스트 모델, 멀티모달 모델, 에이전트의 장기 세션은 모두 메모리 사용량을 키운다. Multi-Stream LLM, 에이전트 병목을 구조로 풀려는 시도는 병렬 스트림으로 추론 병목을 완화하려는 접근을 다뤘는데, 이런 구조도 결국 메모리 배치와 캐시 효율을 피할 수 없다.

따라서 2026년 이후의 AI 인프라 전략은 세 층으로 나뉜다. 첫째, 칩 설계사는 HBM 사용 효율을 높여야 한다. 둘째, 클라우드는 비싼 가속기를 더 높은 활용률로 돌려야 한다. 셋째, 애플리케이션 개발자는 토큰과 컨텍스트를 낭비하지 않아야 한다. HBM 63%는 반도체 뉴스가 아니라 AI 제품 마진 뉴스다.

시각 자료 기획

• AI 칩 부품 비용 비중 변화 누적 막대그래프: Epoch AI의 2024년 1분기와 2025년 4분기 수치를 사용
• AI 서비스 비용 전가 흐름도: HBM 가격 상승이 칩, 서버, 클라우드 GPU, API 가격으로 이어지는 경로를 도식화

자주 묻는 질문

Q1: HBM이 무엇인가요?

A: High Bandwidth Memory의 약자로 GPU나 AI 가속기 가까이에 여러 층으로 쌓는 고속 메모리다. 대규모 AI 연산에서 데이터를 빠르게 공급하는 역할을 한다.

Q2: 63%는 칩 전체 가격의 63%인가요?

A: Epoch AI 분석 기준으로 AI 칩 부품 지출 중 HBM이 차지하는 비중이다. 완제품 서버 가격이나 데이터센터 총비용의 63%라는 뜻은 아니다.

Q3: 한국 메모리 기업에는 좋은 소식인가요?

A: 수요 측면에서는 긍정적이다. 하지만 수율, 패키징 협력, 장기 공급계약, 투자 타이밍을 잘못 잡으면 변동성도 커질 수 있다.

Q4: AI 스타트업은 무엇을 준비해야 하나요?

A: GPU 단가 상승 가능성을 전제로 모델 경량화, 캐싱, 배치 처리, 사용량 제한, 클라우드 예약 전략을 제품 초기부터 설계해야 한다.

Q5: 모델 성능 경쟁과 어떤 관련이 있나요?

A: 긴 컨텍스트와 대규모 추론은 메모리를 많이 쓴다. HBM 비용이 오르면 모델 기업은 단순히 큰 모델을 만드는 것보다 메모리 효율적인 구조를 찾아야 한다.