재귀적 대화 요약을 통한 장기 기억 트렌스포머

초록

최근 ChatGPT[1]와 같은 Transformer[2] 기반의 언어 모델을 사용한 AI 챗봇(Chatbot)이 주목 받고 있다. 이러한 언어 모델들은 초기 대화의 정보를 잃어버려 일관된 맥락의 대화를 유지하기 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해 대화의 내용을 재귀적으로 요약하는 알고리즘(Recursive Dialog Summarization, RDS)을 제안한다. 대화가 길어지면 대화 내역을 요약하고, 요약된 내용으로 기존의 대화 내역을 대체하여 언어 모델의 입력으로 사용한다. 실험은 이러한 재귀적 대화 요약이 기존의 언어 모델의 답변 정확도를 향상하고 입력 토큰 수를 줄여 응답 시간을 단축하는 것을 보였다. 또한, 제안 방법을 실제 챗봇에 적용하여 사용자의 개인 정보를 긴 대화에서 기억할 수 있음을 확인하였다.

키워드