125M 피아노 모델, 온디바이스 AI의 좋은 답안

Copilot for piano가 보여준 작은 모델의 힘

Simon Edwardsson은 125M 파라미터 transformer로 피아노 MIDI 자동완성 모델을 만들었다. 앱 이름은 RollTab이고, MIDI 키보드를 iPhone이나 iPad에 연결하면 사용자가 친 몇 음표 뒤를 모델이 이어서 연주한다. 저자는 약 14번의 실험 끝에 iPhone 15에서 초당 약 108개 음표를 생성하는 수준에 도달했다고 썼다.

이 수치는 중요하다. 음악 생성은 대개 거대한 오디오 모델이나 클라우드 합성을 떠올리지만, RollTab은 상호작용이 핵심인 작업에서는 작은 symbolic model이 훨씬 현실적임을 보여준다. MIDI는 녹음된 소리가 아니라 음정, 세기, 길이, 시점 같은 이벤트다. 따라서 오디오 파형보다 훨씬 압축된 표현으로 음악적 반응을 만들 수 있다.

표현 설계가 모델 크기보다 중요했다

저자는 처음에 NOTE_ON, NOTE_OFF, TIME_SHIFT 같은 토큰화를 시도했지만 모델이 음을 끄는 이벤트를 잊거나 상태를 잃는 문제가 있었다고 설명한다. 최종 표현은 NOTE(pitch, delta_onset, duration, velocity)에 가깝다. 한 음표의 속성을 네 번의 autoregressive step으로 나눠 생성하지 않고, transformer backbone이 음표 하나 단위로 전진하도록 만든 것이다.

이 설계는 온디바이스 AI의 핵심 교훈이다. 작은 모델에서 가장 비싼 것은 불필요한 추론 step이다. 같은 125M 모델이라도 표현이 나쁘면 실시간성이 무너지고, 표현이 좋으면 iPhone에서 연주 보조가 된다. AirLLM, 작은 GPU 추론의 경제학을 흔들다와 집 안의 AI 서버, 로컬 추론 경제학의 민낯이 인프라 비용을 다뤘다면, RollTab은 모델 입출력 형식이 곧 비용이라는 점을 보여준다.

데이터 정제와 DPO가 품질을 밀어 올렸다

글에서 가장 실무적인 대목은 데이터다. 저자는 공개 MIDI를 모으되 피아노 중심 자료를 고르고, 병적인 다중 트랙을 제거하고, 밀도와 음역을 필터링하고, 전조와 템포 변화에 강한 fingerprint로 중복을 제거했다. 데이터셋을 약 5배로 키운 실험은 오히려 나빠졌다고 한다. 이는 AI 제품팀이 자주 잊는 사실이다. 작은 전문 모델에서는 데이터 양보다 문제에 맞는 데이터 분포가 더 중요하다.

평가도 흥미롭다. 저자는 validation loss만으로 좋은 음악적 continuation을 고르기 어렵다고 보고, 자동 지표와 사람이 듣는 평가를 거쳐 pairwise preference를 만들었다. 이후 DPO 논문의 아이디어처럼 선호되는 continuation을 더 가능하게 만드는 후훈련을 적용했다. DPO 후 base model보다 선호된 비율이 69%를 넘었다는 결과는 완벽한 과학이라기보다 제품 평가 루프의 방향을 보여준다.

관련 연구도 빠르게 쌓이고 있다. 글의 주석에는 Aria symbolic piano performance 연구, MIDI-GPT, PianoBART 같은 논문이 언급된다. 그러나 RollTab의 강점은 논문 재현보다 "MIDI 키보드 앞에서 바로 반응하는 앱"으로 닫힌 점이다. Apple Core ML과 INT8 양자화가 연구를 제품으로 내려오게 했다.

한국 창작 도구 시장의 힌트

한국의 음악 교육, K-pop 제작 보조, 악보 앱, 키보드 학습 서비스에는 이런 모델이 잘 맞는다. 클라우드 오디오 생성은 저작권, 지연시간, 비용 문제가 크다. 반면 MIDI continuation은 사용자의 연주를 보조하고, 결과를 사람이 다시 편집하기 쉬우며, 온디바이스 실행으로 개인정보와 비용 부담을 낮출 수 있다. LLM은 전문성을 더 크게 보상한다의 맥락처럼, 모델은 초보자를 대체하기보다 연주자와 작곡자의 판단을 증폭하는 도구가 될 가능성이 크다.

중요한 것은 범용 챗봇을 억지로 붙이는 것이 아니다. 음악이라는 도메인에 맞는 표현, 지연시간, 입력 장치, 평가 방식이 먼저다. RollTab은 온디바이스 AI가 성공하려면 모델을 작게 만드는 것만으로 부족하고, 문제 자체를 작게 재정의해야 한다는 좋은 사례다.

자주 묻는 질문

Q1: 왜 오디오가 아니라 MIDI인가요?

A: MIDI는 실제 소리가 아니라 연주 이벤트를 담기 때문에 훨씬 가볍고 편집 가능하다. 실시간 continuation에는 오디오 파형보다 적합하다.

Q2: 125M 파라미터면 너무 작은가요?

A: 범용 모델 기준으로는 작지만, 피아노 MIDI continuation처럼 좁은 작업에서는 충분히 의미 있는 품질과 속도를 낼 수 있다.

Q3: DPO가 음악에도 유효한가요?

A: 이 사례에서는 pairwise preference를 통해 continuation 품질을 높이는 데 도움이 됐다. 다만 평가자의 일관성과 데이터 품질이 중요하다.

Q4: 한국 앱이 바로 따라 할 수 있나요?

A: 기술적으로는 가능하지만 좋은 MIDI 데이터, 저작권 검토, 실제 악기 연결 UX, 앱 심사 대응이 함께 필요하다.

Q5: 가장 큰 교훈은 무엇인가요?

A: 온디바이스 AI는 모델 압축의 문제가 아니라 제품 입력을 얼마나 잘 구조화하느냐의 문제라는 점이다.