비디오-LLM 기반 휴리스틱 평가의 유효성 검증: 동적 과업 흐름을 중심으로

초록

점점 더 복잡해지는 디지털 환경에서의 사용자 경험 평가는 단일 화면 분석을 넘어 사용자의 동적인 과업 흐름을 포함해야 한다. 최근 대형 언어 모델을 활용한 휴리스틱 평가 자동화 연구가 수행되었으나, 대부분 정적 UI를 분석하는 연구에 머물러 있다. 이는 시간 기반의 상호작용과 과업의 연속성을 평가하는 데 한계를 지닌다. 이에 본 연구는 Video-LLM을 활용하여 동적 과업 흐름 상의 UX 결함을 탐지하는 휴리스틱 평가의 유효성을 실증적으로 검증하는 것을 목표로 한다. 이를 위해 전자상거래 웹사이트의 10가지 핵심 과업을 수행하는 동영상을 수집하고, 5명의 인간 평가자가 도출한 평가 기준과 Video-LLM의 분석 결과를 비교 분석하였다. 실험 결과, Video-LLM은 시간적 순서와 상호작용 흐름에 의존하는 동적 이슈에 대해 100%의 재현율을 기록하며 인간 평가자와 대등한 탐지 능력을 나타냈다. 반면, 정보의 배치나 가시성과 같은 정적 이슈에 대해서는 탐지 성능이 낮았으며, 결함의 심각도를 과소평가하는 경향이 확인되었다. 본 연구는 Video-LLM이 기존의 고비용 및 장시간이 소요되던 인간 주도 평가를 효율적으로 보완할 수 있음을 시사하며, 향후 정적 분석 도구와의 결합을 통한 멀티모달 UX 평가 자동화 시스템 개발의 견고한 방법론적 토대를 제공한다.

키워드