RAG 시스템에서의 경계 정보 손실 완화를 위한 하이브리드 의미 기반 윈도우 청킹 기법

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 대규모 언어 모델(Large Language Model, LLM)의 최신 정보 접근 한계와 환각 문제를 완화하지만, 성능은 검색 문맥의 품질을 좌우하는 청킹 전략에 크게 의존한다. 기존 고정 길이 청킹은 문맥 단절을, 의미 기반 청킹은 경계 정보 손실(Boundary Information Loss)과 문맥 표류(Context Drift)를 유발할 수 있다. 본 연구는 이를 완화하기 위해 하이브리드 의미 기반 윈도우 청킹(Hybrid Semantic-Based Window Chunking, HSWC)을 제안한다. HSWC는 문장 임베딩의 코사인 유사도로 의미 응집 군집을 형성하고, 슬라이딩 윈도우를 통해 인접 군집을 중첩 병합하여 경계 정보를 보존한다. 또한 문서 단위 키워드 메타데이터를 주입해 청크와 원문 전역 주제의 정렬성을 강화한다. 다수의 질의응답 데이터셋으로 실험한 결과, HSWC는 다양한 임베딩 및 생성 모델 설정에서 기존 청킹 방식보다 답변 정확도와 근거 기반 생성 품질을 개선하고 불필요한 문맥 혼입을 줄였다.

키워드