RF 충전 후방산란 인지 무선 네트워크에서 심층 강화학습 기반 모드 최적화 기법

초록

RF 충전 후방산란 인지 무선 (Cognitive Radio) 네트워크에서 2차 송신단말 (Secondary Transmitter; ST)은 점유된 1차 채널에 접근하여 에너지를 수집하거나 주변 후방산란을 수행하여 정보를 전송할 수 있으며, 주사용자가사용하지 않고 비어 있는 1차 채널에 접근하면 수집한 에너지를 사용하여 Active 모드로 데이터를 전송하게 된다. 랜덤하게 변화하는 1차 채널의 점유 상태에 적합한 동작 모드를 수행하면서 전송 성능을 최대화하기 위해, 본 논문에서는 ST가 임의 상태에서 최적의 동작 모드를 학습하는 방안을 제안한다. 또한 에너지 수집 모드를 통해 1차채널의 점유 상태를 관찰하는 방안을 제안하여 부가적인 에너지 소모를 최소화하며, ST가 순차적으로 동작 모드를 결정하는 문제에 접근할 수 있도록 마르코프 결정 과정을 사용하여 제안하는 기법을 수학적으로 정의한다. ST 가 1차 채널과 상호작용 하면서 스스로 최적의 정책을 학습할 수 있는 강화학습을 적용하며, 안정적인 학습을 위해 Deep Q-network 알고리즘을 사용한다. 본 논문에서는 Energy Outage 패널티 (Penalty)를 할당하는 방안을 고려하여 ST가 효율적으로 최적의 정책을 학습하도록 하였다. 학습된 인공신경망을 통해 탐욕 정책으로 동작 모드를 선택하여 수행하는 모의실험을 진행하여 ST가 제안 기법을 통해 달성할 수 있는 전송 성능을 비교 및 분석하였다.

키워드