Pyramid-JiT, VAE 없는 이미지 모델의 효율과 한계

Linum이 10월 6일 Pyramid-JiT 연구 노트를 공개했다. 별도의 VAE로 이미지를 잠재 공간에 옮기는 대신 픽셀 공간에서 깨끗한 이미지를 직접 예측하는 확산 Transformer다. 중간 계층에 여러 해상도의 예측 신호를 넣어 큰 구조부터 세부 표현까지 학습하도록 설계했다.

연구진은 이전 Linum v2의 FD-DINOv2 수준에 11.3배 적은 학습 샘플로 도달했고, 네 배의 픽셀을 다루면서 4.3배 적은 GPU 시간으로 학습했다고 설명한다. 이는 특정 자체 실험의 비교 결과다. 모든 이미지 모델보다 11.3배 좋다는 뜻도, 상용 서비스의 생성 요금이 같은 비율로 낮아진다는 뜻도 아니다.

VAE를 없애면 무엇이 달라지는가

공식 모델 카드는 P-JiT를 약 22억 매개변수의 픽셀 공간 모델로 설명한다. 512×512 이미지를 32×32 패치로 나누면 이미지 토큰은 256개다. 노이즈가 섞인 이미지를 입력받아 결과 이미지를 직접 예측하므로 별도 이미지 VAE를 거치는 구조와 다르다.

다만 VAE가 없다고 모든 보조 모델이 없어진 것은 아니다. 텍스트 캡션을 처리하는 Qwen3.5-4B 인코더를 사용한다. 따라서 본체의 매개변수만 보고 전체 메모리 요구량이나 실행 비용을 계산해서는 안 된다. 실무 비용에는 텍스트 처리, 샘플링 단계, 배치 크기와 정밀도도 함께 들어간다.

중간 계층에 낮은 해상도의 답을 요구한다

학습 과정에서는 10번째 블록 뒤에서 128×128, 16번째 블록 뒤에서 256×256, 마지막 22번째 블록에서 512×512 결과를 예측한다. 중간 부분에도 직접 학습 신호를 주어 구도와 구조를 익히도록 유도하는 접근이다. 최종 출력만 비교하는 방식보다 초반 계층에 더 명시적인 목표를 주는 셈이다.

연구진의 동일 22블록·7천5백만 샘플 비교에서는 세 해상도를 예측한 변형의 최종 손실이 기본 방식보다 10.0% 낮았다. 이는 특정 학습 손실의 차이로, 사람이 체감하는 화질이나 모든 프롬프트의 정답률이 10% 개선됐다는 의미는 아니다. 중간 읽기 헤드 등 학습 전용 구성은 배포용 가중치에 포함되지 않는다고 모델 카드는 명시한다.

분포가 닮았다는 것과 말을 잘 듣는다는 것은 다르다

연구 노트는 FD-DINOv2를 측정할 때 생성 이미지 3만 장과 고정된 실제 이미지 3만 장을 256 해상도에서 비교했다고 밝힌다. 같은 종류의 이미지 분포를 얼마나 잘 재현하는지 보는 축과, 물체 수·색·위치 관계를 지시대로 만드는 축은 다르다. 비교 조건을 읽어야 '더 좋은 모델'이라는 표현의 범위를 알 수 있다.

실제로 공개 표의 원문 프롬프트 GenEval 점수는 P-JiT 0.612, 이전 JiT-DDT 0.641이다. 저자들이 보여준 학습 효율 개선이 모든 지시 준수 평가의 일관된 승리를 의미하지 않음을 드러낸다. GenEval 논문은 이런 객체 중심 평가의 배경을 설명하는 참고 자료다.

더 주의할 부분은 프롬프트 재작성이다. 연구진은 벤치마크 문장을 학습 캡션 스타일로 바꾸고 검토하는 절차를 공개했으며, 평가 정답에 해당하는 객체·수·색 등의 정보도 검토에 활용했다. 재작성 뒤 P-JiT GenEval은 0.817로 올라가지만, 이를 원문 입력만 사용한 다른 결과와 직접 비교하면 안 된다. 모델 단독 성능이 아니라 입력 가공을 포함한 시스템의 성능에 가까워지기 때문이다. 그렇다고 공개된 재작성 결과가 무의미한 것은 아니며, 비용과 정보 접근 조건을 함께 밝혀야 한다는 뜻이다.

한국 개발팀에 중요한 것은 연구와 제품의 경계

코드 저장소와 가중치는 Apache 2.0으로 공개됐다. 그러나 모델 카드는 1억3천8백만 샘플로 학습했고 후속 학습을 하지 않은 연구 체크포인트이며 제품용 모델이 아니라고 명시한다. 배포 코드의 공개와 상용 서비스 수준의 품질·운영 보증은 다른 조건이다.

국내 이미지·영상 스타트업에는 거대한 학습 예산보다 학습 신호와 토큰 구성을 개선하는 연구 방향이 유용할 수 있다. 다만 이번 공개물은 이미지 연구이며, 향후 영상 모델의 비용 목표가 실제 영상 서비스에서 달성됐다는 발표는 아니다. 한글 글자 표현, 한국어 프롬프트, 캐릭터 일관성이나 상업적 작업의 수정 가능성은 별도 평가가 필요하다.

Reflection Beam의 연산량·운영비 구분과 같이 GPU 시간 감소가 최종 서비스 원가로 이어지는 경로를 확인해야 한다. TerrainSR의 출력 해상도 분석은 픽셀 수와 정보의 정확성이 다름을 보여준다. Stability AI의 제작 흐름 분석처럼 모델 점수 외에도 권리와 편집 과정을 포함해야 실제 제품 경쟁력이 보인다.

자주 묻는 질문

VAE가 없으면 텍스트 인코더도 필요 없나?

아니다. 공개 모델은 캡션 처리를 위한 별도 텍스트 인코더를 사용한다.

11.3배 수치는 추론 속도인가?

아니다. 이전 Linum v2의 특정 FD-DINOv2 수준에 도달하는 학습 샘플 수의 비교다.

공개된 점수를 다른 모델 순위와 바로 비교해도 되나?

프롬프트 재작성 여부, 해상도, 평가 도구와 샘플 수가 같아야 해석이 가능하다. 원문과 재작성 결과는 분리해야 한다.

바로 상용 이미지 서비스에 사용할 수 있나?

라이선스와 제품 준비 상태는 별개다. 제작자는 실험적 연구 산출물이라고 명시하며, 운영 품질은 별도 검증해야 한다.

Agenthub가 직접 모델을 실행했나?

아니다. 공개 연구 노트·모델 카드·저장소를 분석했으며 학습 효율이나 이미지 품질을 독립 측정하지 않았다.