JiT-DDT, 이미지 모델 훈련비의 병목을 찌르다

3.6배 적은 GPU-hours, 4배 많은 픽셀

Linum의 JiT-DDT 연구 노트는 text-to-image 모델 훈련 비용을 정면으로 다룬다. Linum은 기존 Linum v2 baseline 대비 JiT-DDT가 3.6배 적은 GPU-hours로 훈련되면서도 4배 많은 픽셀의 512×512 이미지를 생성한다고 주장한다. v2는 256×256 이미지와 2.0B latent-space DiT + VAE 구조였고, JiT-DDT는 2.5B active pixel-space DiT, 320 pixel tokens 구조다.

핵심 문제는 context window다. 글은 720p 5초 클립이 110K tokens에 달했다고 설명한다. attention 비용은 대체로 토큰 수에 매우 민감하므로, 생성 모델의 비용을 줄이려면 토큰 창을 줄이는 설계가 필요하다. 그래서 JiT-DDT는 VAE와 DiT를 분리한 latent diffusion model 대신, pixel-space에서 encoder-decoder 구조로 저해상도 구조와 고해상도 디테일을 나누어 학습한다.

latent diffusion의 당연함을 다시 묻다

이미지와 비디오 생성 모델 대부분은 Latent Diffusion Models의 계보에 있다. VAE가 이미지를 압축하고, DiT나 U-Net이 latent space에서 생성한다. 이 방식은 효율적이지만, VAE가 재구성을 위해 만든 latent가 생성에 최적인지는 별도 질문이다. Linum은 JiT 논문, DiT, PixelREPA, GitHub 공개 코드, Hugging Face weights를 엮어 다른 길을 제시한다.

AI Reasoning right answer wrong reasons, Neural render proxies, 3D production AI lighting, OpenAI 연구 가속, 과학도 제품화된다와 이어지는 지점은 분명하다. 성능 경쟁은 결과 이미지의 예쁨뿐 아니라, 어떤 중간 표현이 훈련 신호를 더 잘 전달하는지의 싸움이다.

오픈 연구 아티팩트의 의미

Linum은 JiT-DDT를 full model release가 아니라 research artifact라고 선을 긋는다. 그래도 Apache 2.0 라이선스로 코드와 모델 weights를 공개했다는 점은 중요하다. 생성형 이미지 모델 연구는 대형 기업 내부에서 닫히기 쉬운데, 비용 절감 아이디어가 공개 구현으로 나오면 작은 팀도 ablation과 재현을 시도할 수 있다.

한국 스타트업과 연구팀에는 두 가지 시사점이 있다. 첫째, 생성형 모델 경쟁에서 무조건 더 큰 GPU 클러스터가 답은 아니다. 토큰 수, patch 크기, auxiliary loss, 구조 학습 경로 같은 설계가 비용을 바꾼다. 둘째, 이미지 품질 평가는 정성적이다. JiT-DDT가 26개 프롬프트 appendix를 공개한 것은 좋지만, 제품 적용 전에는 한국어 프롬프트, 로컬 스타일, 인물 안전성, 브랜드 워크플로우에서 별도 평가해야 한다.

비용 절감은 모델 제품의 배포 전략을 바꾼다

훈련비가 3.6배 줄어든다면 단순히 예산이 절감되는 데서 끝나지 않는다. 실험 주기가 빨라지고, 도메인별 fine-tuning 가능성이 커지고, 비디오 모델로 확장할 때 실패 비용이 낮아진다. 특히 영상, 광고, 커머스 이미지처럼 특정 톤과 형식이 필요한 시장에서는 "한 번 거대한 모델을 훈련"하는 방식보다 "여러 작은 실험을 빨리 반복"하는 방식이 유리할 수 있다.

물론 아직은 연구 노트다. Linum 자신도 인간 얼굴 같은 일부 품질 문제와 low sample regime의 한계를 언급한다. 하지만 방향은 선명하다. 생성형 이미지 모델의 다음 경쟁력은 더 많은 파라미터보다, 토큰을 덜 쓰면서 구조와 디테일을 더 잘 배우는 길을 찾는 데 있다.

자주 묻는 질문

Q1: JiT-DDT는 무엇인가요?

A: pixel-space text-to-image 모델을 위한 encoder-decoder 아키텍처로, 구조와 디테일 학습을 나누어 훈련 효율을 높이려는 접근입니다.

Q2: 3.6배 빠르다는 뜻은 무엇인가요?

A: Linum v2 baseline 대비 text-to-image 모델 훈련에 필요한 GPU-hours가 3.6배 적었다는 주장입니다.

Q3: latent diffusion model을 완전히 대체하나요?

A: 아직은 아닙니다. LDM은 여전히 강력한 표준이고, JiT-DDT는 대안적 연구 방향으로 보는 것이 안전합니다.

Q4: 코드와 모델을 쓸 수 있나요?

A: Linum은 GitHub 코드와 Hugging Face weights를 Apache 2.0 라이선스로 공개했다고 밝혔습니다.

Q5: 한국 기업 적용에서 확인할 점은 무엇인가요?

A: 한국어 프롬프트, 인물 품질, 브랜드 스타일 일관성, 상업적 라이선스 검토, 기존 이미지 파이프라인 연동을 확인해야 합니다.