Pirate Face, AI 모델 보존을 토렌트로 풀다

모델 허브의 단일 실패 지점을 겨냥했다

Pirate Face는 공개 AI 모델을 magnet link로 배포해 원래 호스트에서 사라진 뒤에도 peer-to-peer swarm이 파일을 제공하도록 하겠다는 서비스다. 현재 정책은 Hugging Face의 Apache 2.0과 MIT 모델을 중심으로 하며, 사이트는 66만 9천 개 이상을 대상 catalog로 표시한다. 숫자는 Pirate Face 자체 집계이므로 독립 통계가 아니라 현재 서비스 표시값으로 읽어야 한다.

핵심은 작동 방식 설명에 나온 web-seed다. 모델이 Hugging Face에 있을 때는 torrent 안의 HTTPS 주소에서 같은 파일을 내려받고, 원본이 사라지면 peer가 이어서 제공한다. 파일별 Hugging Face SHA-256과 대조해 변조된 byte stream이 완성되지 않도록 설계했다고 설명한다. 계정 없이 탐색·다운로드·시딩할 수 있고, 직접 publishing과 drop-in API는 아직 예정 기능이다.

체크섬은 진위를 보조하지만 정당성을 보증하지 않는다

SHA-256 일치가 알려주는 것은 내려받은 bytes가 기준 bytes와 같다는 점이다. 그 모델이 안전한지, 학습 데이터가 적법한지, license 표기가 정확한지까지 보장하지 않는다. 기준 hash 자체가 신뢰할 수 있는 revision에서 수집됐는지도 provenance의 일부다. Pirate Face는 pinned revision, file checksum, license evidence를 요구하고 mismatch는 review queue에 둔다고 설명하지만, 이용자는 절차의 실제 집행 수준을 확인해야 한다.

web-seed는 Pirate Face가 만든 개념이 아니다. BitTorrent BEP 19은 HTTP/FTP seed를 torrent에 포함하는 방식을 규정한다. 중앙 서버가 살아 있을 때 빠르게 공급하고, 없을 때 swarm으로 전환하는 혼합 구조다. 모델처럼 수십 GB 파일에는 합리적이지만, seed가 한 명도 없으면 magnet link만으로 bytes가 되살아나지는 않는다. ‘영원히 산다’는 표현은 지속적인 peer 참여가 있을 때의 목표다.

삭제를 견디는 기술은 삭제 사유도 견딘다

모델이 사라지는 이유는 검열만이 아니다. 저작권 분쟁, 개인정보 노출, 악성 코드, 잘못된 license, 제작자의 자발적 철회가 원인일 수 있다. 중앙 호스트는 신고와 takedown을 집행할 수 있지만 분산 swarm은 같은 요청을 일괄 적용하기 어렵다. 가용성이라는 장점이 피해 파일의 장기 유통이라는 위험으로 뒤집힐 수 있다.

Hugging Face의 repository security와 모델 카드 가이드는 접근 제어와 provenance 문서화의 중요성을 보여준다. Pirate Face도 license 범위를 제한하고 creator verification을 도입했지만, verification은 handle 소유 확인이지 모든 파일에 대한 법적 보증은 아니다. 특히 원본이 삭제된 ‘Rescued’ 모델은 왜 삭제됐는지 reason code와 증거를 함께 보여줘야 사용자가 위험을 판단할 수 있다.

한국 개발자와 기업의 활용 조건

국내 연구팀에는 대형 checkpoint의 장기 보존과 지역 간 전송 비용을 낮출 가능성이 있다. 그러나 상용 제품에 바로 magnet link를 넣기보다 승인된 모델 revision을 사내 registry에 고정하고, torrent는 복구 경로로 제한하는 편이 안전하다. SBOM에 model id, revision, hash, license snapshot, 최초 입수 URL, security scan 결과를 같이 남겨야 한다.

이는 트러스팅 트러스트, 컴파일러 밖으로 번졌다, 미국 오픈웨이트도 증류 경쟁에 들어섰다, Bonsai 2 27B, 로컬 AI의 6GB 기준선과 같은 흐름이다. 오픈 웨이트의 경쟁력은 ‘다운로드 가능’만이 아니라 어떤 bytes를 누가 언제 검증했고 얼마나 오래 재현할 수 있는지에 달린다.

자주 묻는 질문

Q1: Pirate Face가 모델 파일을 전부 직접 보관하나요?

A: 서비스 설명상 Hugging Face web-seed와 BitTorrent peer를 함께 쓴다. 원본이 살아 있을 때는 HTTPS source가 공급하고, 사라지면 seed가 필요하다.

Q2: SHA-256이 맞으면 모델은 안전한가요?

A: 아니다. bytes의 동일성은 확인하지만 악성 동작, 데이터 권리, license 정확성은 별도 문제다.

Q3: 모든 Hugging Face 모델을 지원하나요?

A: 현재 설명은 Apache 2.0·MIT 모델과 별도 예외를 대상으로 한다. catalog 포함과 실제 seed 존재도 구분해야 한다.

Q4: 원본이 삭제돼도 반드시 다운로드되나요?

A: 아니다. 적어도 한 peer가 완전한 파일을 계속 seed해야 한다. magnet metadata만 남아서는 파일을 복원할 수 없다.

Q5: 기업에서 쓸 때 가장 중요한 통제는 무엇인가요?

A: 승인 revision과 hash를 고정하고, license·출처·삭제 사유·scan 결과를 함께 보존하며 외부 swarm에서 받은 파일을 즉시 production에 올리지 않는 것이다.