비마커 증강현실을 위한 색상 및 깊이 정보를 융합한 Mean-Shift 추적 기반 손 자세의 추정

초록

본 논문은 비마커 증강현실(Marker-less Augmented Reality)을 위한 색상 및 깊이 정보를 융합한 Mean-Shift 추적 알고리즘 기반 손 자세의 추정 기법을 제안한다. 기존 비마커 증강현실의 연구는 손을 검출하기 위해 단순한 실험 배경에서 피부색상 기반으로 손 영역을 검출한다. 그리고 손가락의 특징점을 검출하여 손의 자세를 추정하므로 카메라에서 검출할 수 있는 손 자세에 많은 제약이 따른다. 하지만, 본 논문은 3D 센서의 색상 및 깊이 정보를 융합한 Mean-Shift 추적 기법을 사용함으로써 복잡한 배경에서 손을 검출할 수 있으며 손 자세를 크게 제약하지 않고 손 영역의 중심점과 임의의 2점의 깊이 값만으로 정확한 손 자세를 추정한다. 제안하는 Mean Shift 추적 기법은 피부 색상정보만 사용하는 방법보다 약 50픽셀 이하의 거리 오차를 보였다. 그리고 증강실험에서 제안하는 손 자세 추정 방법은 복잡한 실험환경에서도 마커 기반 방법과 유사한 성능의 실험결과를 보였다.

키워드