Open Source

PopuLoRA는 여러 LoRA 어댑터가 교사와 학생으로 공진화하는 자기대전 학습을 제안한다. 단일 모델 자기개선의 쉬운 문제 편향을 겨냥했다.

PopuLoRA의 흥미로운 점은 더 큰 단일 모델이 아니라 작은 개체군의 긴장을 이용해 학습 신호를 만든다는 점이다. 추론 모델 경쟁은 파라미터 크기뿐 아니라 학습 생태계 설계 싸움으로 넘어가고 있다.