생성형 언어모델을 활용하는 코딩수업에서의 학습평가

초록

본 논문은 생성형 언어모델이 코딩 교육에서 미치는 영향을 분석하고, 이에 적합한 학습 평가 방식에 대해 고찰하고자 한다. 생성형 언어모델은 자연어로 주어진 지시문을 바탕으로 정확하고 효율적인 코드를 생성할 수 있는 능력을 가지고 있어 코딩 학습 및 교육의 도구로의 활용도가 증대되고 있다. 이러한 환경 변화에 따라 코딩 수업에서 학생들의 성취도 평가를 위한 코딩 시험에서도 생성형 언어모델의 활용을 허용하는 것이 피할 수 없는 상황으로 여겨지고 있다. 그러나 언어모델을 활용한 코딩 시험에서 학생들이 지시문을 단순히 프롬프트로 입력하여 높은 점수를 받는 경우가 발생하면서, 기존 평가 방식만으로는 학습자의 성취도를 변별하기 어려워지고 있다. 우리는 프로그래밍 문법에 대한 이해도와 생성형 언어모델을 활용하여 문제를 해결하는 능력 간의 상관관계를 분석하고자 하며 S대학의 코딩수업에서 기본적인 프로그래밍 문법을 평가하는 시험과 생성형 언어모델을 활용한 코딩시험 결과를 통해 두 가지 능력의 상관관계를 분석하였다. 이러한 결과를 바탕으로 학습자의 프로그래밍 문법 이해도와 생성형 언어모델을 활용하여 문제를 해결하는 능력을 종합적으로 평가하기 위한 새로운 평가 문항 개발의 필요성을 논의한다.

키워드