애플 Neural Engine, 50GB/s를 되찾다

로컬 AI의 병목은 메모리 이동이다

Eileen Yoon의 Getting 50 GB/s Back Out of the ANE는 Apple Neural Engine을 둘러싼 드문 저수준 분석이다. 글은 Apple M3 Neural Engine에서 RTL 성능 erratum 때문에 총 weight 크기가 1 MiB의 정수배일 때 DRAM weight streaming 처리량이 명목상 45-60 GB/s에서 17-19 GB/s로 떨어진다고 설명한다.

우회는 작지만 결과는 크다. 커널 DMA 엔진의 speculative prefetch ring에서 문제가 되는 경로를 피하자 Llama 3.2 1B는 10.0 tokens/s에서 24.3 tokens/s로, Qwen3-8B는 1.36 tokens/s에서 2.97 tokens/s로 올랐다고 한다. DRAM 사용량도 각각 24.7에서 60.0 GB/s, 22.4에서 48.7 GB/s로 회복됐다. Mac mini 품귀, AI 개발 장비 수요가 바꾼 애플을 떠올리게 하는 숫자다.

모델보다 런타임이 먼저 보인다

ANEMLL 프로젝트는 Apple Neural Engine에서 LLM을 돌리는 실험의 기반이다. 이 사례는 온디바이스 AI를 볼 때 TOPS 숫자만으로는 부족하다는 점을 보여준다. 실제 토큰 처리량은 weight 배치, DMA 경로, 메모리 정렬, 커널 구현, 런타임 스케줄링이 만든다.

Apple Core ML과 MLX는 개발자에게 로컬 AI의 높은 수준 API를 제공한다. 그러나 이번 분석은 그 아래 계층이 제품 성능을 결정할 수 있음을 말한다. EU 수리성 공백, 온디바이스 AI 시대의 약한 고리가 하드웨어 수명과 거버넌스를 말했듯, 로컬 AI는 기기 안쪽의 세부 구현에 강하게 묶인다.

한국 개발자에게 중요한 이유

한국 앱 개발팀이 온디바이스 요약, 키보드, 사진 검색, 음성 기능을 붙일 때 흔히 하는 실수는 "모델만 줄이면 된다"는 생각이다. 실제로는 모델 크기와 양자화만큼 입력 길이, 캐시 전략, weight layout, 디바이스 세대별 경로가 중요하다. M3에서의 1 MiB 배수 문제가 모든 기기에 그대로 일반화되는 것은 아니지만, 이런 종류의 병목이 있다는 사실 자체가 교훈이다.

67센트 ARC 결과, 작은 모델의 반격은 작은 모델의 가능성을 봤다. 온디바이스 AI에서는 작은 모델이 출발점이고, 다음 전장은 메모리와 커널이다. 서버 추론에서는 GPU 클러스터가 병목을 흡수하지만 모바일과 노트북에서는 사용자의 배터리와 발열이 곧 제품 품질이다.

스펙표 시대에서 프로파일링 시대로

개발 조직은 로컬 AI 기능을 출시하기 전에 세대별 프로파일링 표를 만들어야 한다. M1, M2, M3, M4 계열, 메모리 용량, OS 버전, 백그라운드 상태에 따라 tokens/s와 지연 시간이 달라질 수 있다. Metal Performance Shaders 같은 저수준 가속 프레임워크의 존재도 결국 개발팀이 측정해야 할 선택지를 늘린다.

이 분석의 가장 좋은 점은 낙관적이다. 하드웨어를 바꾸지 않고도 소프트웨어 우회로 성능이 크게 회복됐다. 반대로 말하면 앱이 느린 이유가 항상 모델의 한계는 아니다. 측정하지 않으면 비용을 서버로 떠넘기거나 기능을 포기하게 된다.

자주 묻는 질문

Q1: 이 문제는 모든 Apple Neural Engine에 해당하나요?

A: 글은 M3 Neural Engine의 특정 경로를 분석합니다. 다른 세대에 그대로 적용된다고 단정하기보다 측정 지표로 봐야 합니다.

Q2: tokens/s가 두 배 오른 것이 큰가요?

A: 사용자 체감에는 큽니다. 로컬 요약, 자동완성, 음성 후처리는 지연 시간이 곧 기능 품질입니다.

Q3: Core ML을 쓰면 이런 문제를 몰라도 되나요?

A: 기본 앱에는 추상화가 도움이 됩니다. 하지만 성능 한계에 부딪히면 런타임과 커널 수준의 이해가 필요합니다.

Q4: 한국 서비스는 서버 AI가 더 낫지 않나요?

A: 개인정보, 지연 시간, 오프라인 사용, 비용을 보면 온디바이스가 필요한 영역이 있습니다. 서버와 로컬을 섞어야 합니다.

Q5: 지금 당장 할 일은 무엇인가요?

A: 대상 기기별 tokens/s, 메모리, 발열, 배터리 사용량을 자동 측정하고 모델 변경마다 회귀 테스트하는 것입니다.