CNN과 MKDE 모델의 직렬 연결을 기반한 합성 음성 분류

초록

지난 수년간 개발된 음성 합성 알고리즘들은 일반인들이 쉽게 사용 가능하고 그 성능 또한 우수하다. 이러한 기술이 악의적으로 사용될 경우 유명인 사칭, 가짜 뉴스 등 여러 범죄에 사용될 수 있다. 따라서 이런 문제들을 해결하기 위한 연구들이 최근 많이 진행되고 있고, 많은 선행연구에서 다양한 합성 음성 검출기들이 개발되었다. 따라서 본 논문에서 합성 음성이 잡음, 반향, 압축 등의 영향이 있는 상황에서 어떤 알고리즘으로 음성이 합성되었는지 분류가 가능한 합성 음성 분류 모델을 제안한다. 제안 모델은 CNN (Convolutioal Neural Network) 과 MKDE (Multivariate Kernel Density Estimation) 로 구성되어 있다. CNN 모델에서는 특징으로 오디오 신호의 melspectrogram을 사용하였고, MKDE 모델에서는 CNN의 logit 값을 특징으로 사용하여 훈련 클래스의 PDF (Probability Density Function)를 추정하였다. 모델 학습과 평가를 위해 사용된 데이터는 2022 IEEE Signal Processing Cup에서 제공되었던 것으로 최종 모델 성능은 잡음이 없는 경우, 잡음이 있는 경우에서 각각 96.5 %, 95.5 %의 정확도를 보여준다.

키워드