ProGen: 점진적 커리큘럼 학습 기반 문화 간 스타일 융합 생성

초록

텍스트-투-이미지 생성 분야에서 의미적으로 거리가 먼 두 미적 영역을 하나의 이미지로 통합하는 작업은 여전히 해결하기 어려운 과제로 남아 있다. 기존의 LoRA 기반 접근법은 대부분 고정된 데이터셋을 활용한 단일 단계 학습에 의존하기 때문에, 한국 전통 건축 양식인 한옥과 서양의 스테인드글라스처럼 구조적으로 이질적인 두 전통을 결합할 때 시각적으로 파편화된 결과물을 생성하는 한계를 보인다. 본 연구에서는 이러한 문제를 해결하기 위해 점진적 파인튜닝 프레임워크인 ProGen을 제안한다. ProGen은 커리큘럼 학습 원리를 바탕으로 학습 데이터를 단계적으로 확장해 나가는 방식을 채택하며, 누적 LoRA 가중치 통합을 포함하는 4단계 학습 구조로 설계되었다. 초기 단계에서는 건축 구조에 대한 이해를 형성하고, 이후 단계에서는 스타일적 복잡성을 점진적으로 심화시킨다. 10개의 수작업 예시 이미지를 출발점으로 삼아 모델 생성과 연구자의 선별 과정을 반복함으로써, 최종적으로 40개의 학습 데이터셋을 구성한다. 실험 결과, ProGen은 소규모 데이터 기반의 단일 단계 파인튜닝 방식과 확장된 데이터셋을 활용한 단일 단계 학습 방식 모두를 성능 면에서 상회하였다. 특히 제거 실험(ablation study)을 통해 커리큘럼 기반의 점진적 학습 구조가 단순한 데이터 양 증가보다 성능 향상에 더 결정적인 역할을 한다는 사실을 입증하였다. IS, LPIPS, CLIP 기반의 다중 평가를 통해 점진적 데이터 확장이 스타일 융합 이미지의 다양성과 표현력을 효과적으로 향상시킴을 검증하였다.

키워드