마이크로프로세서와 AI 모델을 활용한 몰입형 음성 인식 게임 컨트롤러 설계

초록

본 논문은 OpenAI의 Whisper 음성 인식 모델과 아두이노 레오나르도 보드를 기반으로, 음성 명령을 게임 내 조작으로 변환하는 몰입형 게임 인터페이스 시스템을 설계 및 구현한 사례를 다룬다. 제안된 시스템은 사용자의 음성을 Python 환경에서 실시간으로 녹음하고 Whisper 모델을 통해 텍스트로 변환한 후, 사전 정의된 명령어와 비교하여, 아두이노 보드에서 해당 명령에 따른 HID 입력을 생성하며 게임 내에서 조작으로 반영되도록 한다. 하드웨어는 조이스틱과 버튼으로 구성되었고, 소프트웨어는 음성 인식과 HID 신호 전송을 위한 코드로 구현되었다. 제안된 인터페이스는 먼저 Whisper 모델의 음성 인식 성능을 평가하기 위해 다양한 크기의 모델별로 인식 정확도와 처리 시간을 측정하였고, 이후 실제 상용 게임 환경에서의 조작 반응성을 검증하기 위해 Overwatch와 StarCraft II를 대상으로 테스트를 진행하였다. Overwatch에서는 컨트롤러 기반의 물리 입력과 음성 인식 입력이 병행되어 작동하였으며, StarCraft II에서는 키보드 입력만을 지원하는 환경에서도 음성 명령을 통해 유사한 조작 효과를 구현 가능함을 확인하였다. 이로써 제안된 시스템은 다양한 게임 장르 및 플랫폼 환경에서 효과적으로 활용될 수 있는 범용성과 확장성을 지님을 확인하였다. 향후에는 고성능 마이크로컨트롤러와 TinyML 기반 내장형 음성 인식, 무선 통신 및 챗봇 연동을 통한 양방향 음성 피드백 기능 확장도 고려될 수 있다.

키워드