Swift로 LLM을 훈련한다는 것, Apple Silicon의 빈틈을 본다

행렬곱은 로컬 AI의 가장 현실적인 병목이다

Cocoa with Love는 Swift로 LLM 훈련을 시도하는 연재의 첫 글에서 행렬곱 구현을 plain C와 Swift부터 SIMD, AMX, Metal까지 단계적으로 최적화했다. 글의 목표는 직접 만든 커널을 Gflop/s 수준에서 Tflop/s 수준으로 끌어올리며 Apple Silicon의 CPU, SIMD, AMX, GPU가 어떤 역할을 하는지 보여주는 것이다.

이 실험이 흥미로운 이유는 거창한 모델 발표가 아니라 개발자 경험의 바닥을 건드리기 때문이다. LLM 훈련과 추론의 핵심 비용은 결국 큰 행렬 연산이다. 프레임워크가 이를 잘 감추면 앱 개발자는 기능에 집중하지만, 성능이 부족하면 곧바로 메모리와 커널 최적화 문제에 부딪힌다.

Apple Silicon은 강하지만 경로가 복잡하다

Apple Silicon은 통합 메모리와 강한 GPU, Neural Engine을 갖췄지만, 개발자가 모든 성능을 쉽게 쓰는 것은 아니다. Swift, Accelerate, Metal, Core ML, MLX 같은 선택지가 있고 각각 추상화 수준과 제약이 다르다. Cocoa with Love의 실험은 “가능하다”와 “쉽다” 사이의 간극을 잘 보여준다.

Local AI가 앱의 기본값이 되어야 한다는 논의는 바로 이 문제와 연결된다. 로컬 AI가 프라이버시와 지연시간 측면에서 매력적이어도, 개발자가 안정적으로 성능을 뽑아내지 못하면 클라우드 API로 돌아가게 된다.

개발자 도구 경쟁은 커널까지 내려간다

AI 앱 경쟁은 모델 API를 붙이는 수준에서 끝나지 않는다. 온디바이스 요약, 개인 데이터 검색, 음성 비서, 코딩 보조가 로컬에서 돌아가려면 메모리 압박과 배터리, 발열, 모델 크기를 함께 관리해야 한다. Swift 생태계가 이 문제를 더 쉽게 풀어주면 Mac과 iPhone은 강력한 AI 실행 환경이 된다.

반대로 개발자가 Metal 커널과 행렬곱 최적화를 직접 배워야 한다면 대중화 속도는 느려진다. Gemini API File Search와 멀티모달 RAG처럼 클라우드 관리형 기능이 계속 좋아지는 상황에서, 로컬 AI는 “프라이버시”만이 아니라 충분히 좋은 개발 생산성을 증명해야 한다.

FAQ

Q1. 이 글은 실제 대형 모델을 완성 훈련했다는 뜻인가?
아니다. 연재의 첫 글은 LLM 훈련의 핵심 연산인 행렬곱 성능을 Swift와 Metal로 탐구한 실험이다.

Q2. 왜 행렬곱이 중요한가?
트랜스포머 모델의 대부분 연산이 큰 행렬 연산으로 귀결되기 때문에 성능과 비용을 좌우한다.

Q3. Swift만으로 충분한가?
기능 구현은 가능하지만 고성능을 위해서는 SIMD, AMX, Metal, 기존 프레임워크 활용이 중요하다.

Q4. 한국 개발자에게 의미는?
Mac 기반 AI 앱, 사내 로컬 도구, 개인정보 보호형 생산성 앱을 만들 때 성능 경로를 이해하는 것이 경쟁력이 된다.

Q5. 로컬 AI의 다음 관전 포인트는?
모델 경량화보다 프레임워크, 메모리 관리, 하드웨어 가속을 얼마나 단순한 API로 제공하느냐가 중요하다.