체로키 문자, AI 현지화의 오래된 교훈

1821년의 제품 출시처럼 읽히는 이야기

Smithsonian Magazine은 Sequoyah가 만든 체로키 음절문자의 확산을 다시 조명했다. 그는 영어를 읽고 쓰지 못했지만 체로키어의 소리를 적는 체계를 만들었다. 처음에는 마술이라는 의심을 받았고, 1821년에는 딸 Ayoka와 함께 서로 다른 방에서 쓴 문장을 읽어 보이며 기능을 증명했다. 그 뒤 6개월 안에 체로키인 네 명 중 한 명이 읽고 쓸 수 있게 됐다는 설명은 오늘날 기술 업계의 빠른 제품 채택 사례처럼 보인다.

Sequoyah의 발명은 알파벳이 아니라 음절문자였다. Cherokee Nation Language Department는 체로키 음절문자가 85개의 문자를 통해 언어의 소리 범위를 나타낸다고 설명한다. Smithsonian 기사도 처음 86개였던 기호가 나중에 85개로 정리됐고, 1828년 Cherokee Phoenix가 이 문자로 발행됐다고 정리한다.

AI 현지화는 번역 API보다 깊은 문제다

생성 AI 제품은 흔히 지원 언어 수를 마케팅한다. 그러나 실제 현지화는 언어가 어떤 문자 체계를 갖고 있고, 공동체가 어떤 표기를 신뢰하며, 교육과 행정에서 어떻게 쓰이는지를 이해해야 한다. 체로키 음절문자는 외부 언어의 구조를 그대로 베낀 것이 아니라 체로키어 사용자의 발화 단위에 맞춰 설계됐다. 이것이 빠른 문해 확산의 핵심이었다.

Unicode Cherokee 차트처럼 문자 인코딩이 정착돼야 검색, 폰트, 키보드, 모바일 입력, AI 토큰화가 가능해진다. UNESCO의 디지털 보존 논의는 소멸 위험 언어와 문자를 디지털 공간에 남기는 일이 단순 아카이브를 넘어 문화적 권리와 연결된다고 설명한다.

토큰화와 벤치마크의 사각지대

대형 언어모델은 데이터가 많은 언어에서 더 부드럽게 동작한다. 반대로 저자원 언어와 비라틴 문자에서는 토큰 분절, 철자 변형, 코드스위칭, 음성 입력, OCR이 모두 품질 병목이 된다. 체로키어처럼 문자 자체가 공동체 정체성과 연결된 경우, 로마자 표기만 잘 처리하는 AI는 언어를 보존한다고 말하기 어렵다.

LLM이 도메인 개발자의 해자를 흔드는 방식은 일반 지식 자동화가 전문성을 흔든다고 분석했다. 하지만 언어와 문화에서는 반대로 도메인 지식이 더 중요해진다. Lathe, LLM을 지름길이 아닌 학습 도구로 쓰다의 관점처럼 AI는 학습을 대신하는 도구가 아니라 공동체가 언어를 익히고 확장하는 도구가 되어야 한다.

한국 개발자에게도 남의 일이 아니다

한국어는 대형 모델에서 비교적 잘 지원되는 언어로 보이지만, 방언, 고문헌, 전문용어, 수어, 이주민 언어, 지역 행정 용어까지 들어가면 문제는 비슷해진다. AI 제품이 한국어를 지원한다고 말하려면 조사와 어미를 자연스럽게 처리하는 것만으로 부족하다. 공공 문서, 의료 설명, 교육 자료, 법률 안내처럼 신뢰가 중요한 영역에서 어떤 표기를 표준으로 삼을지 정해야 한다.

Apple Core AI, 앱 안 모델 실행의 새 기준에서 다룬 온디바이스 실행은 저자원 언어에도 기회가 될 수 있다. 민감한 음성 자료를 서버로 보내지 않고 공동체 내부에서 처리할 수 있기 때문이다. Mnemo, 로컬 우선 AI 메모리의 실험도 같은 방향을 보여준다. 다만 로컬 모델이 공동체 허락 없이 데이터를 흡수하거나 표준 표기를 왜곡한다면 기술은 보존이 아니라 침식이 된다.

자주 묻는 질문

Q1: 체로키 음절문자가 AI 뉴스와 무슨 관련이 있나요?

A: AI 현지화의 핵심이 모델 크기가 아니라 문자 체계, 데이터 권리, 공동체 사용성이라는 점을 보여주는 역사적 사례다.

Q2: 음절문자와 알파벳은 어떻게 다른가요?

A: 알파벳은 주로 음소를 적고, 음절문자는 한 글자가 하나의 음절을 나타낸다. 체로키 문자는 체로키어의 소리 구조에 맞춰 설계됐다.

Q3: Unicode 지원만 있으면 충분한가요?

A: 아니다. Unicode는 출발점이다. 폰트, 키보드, OCR, 음성 데이터, 교육 자료, 공동체 검수가 함께 필요하다.

Q4: AI가 저자원 언어 보존에 도움이 될까요?

A: 가능하다. 전사, 검색, 교육, 사전 구축에 도움을 줄 수 있다. 그러나 데이터 소유권과 오류 수정 권한이 공동체에 있어야 한다.

Q5: 한국 서비스 개발자는 무엇을 배워야 하나요?

A: 언어를 번역 문자열로만 보지 말고, 사용자의 표기 습관과 제도적 문맥, 민감 데이터 경계를 함께 설계해야 한다.