第121回CN研究会にて「Webアンケートにおける不真面目回答のChatGPTを用いた自動分類」というタイトルで発表しました（畑中健壱）
はじめに
こんにちは．中村研究室M1の畑中健壱です．
2024年1月22~23日に伊豆大島で開催された第121回CN研究会にて「Webアンケートにおける不真面目回答のChatGPTを用いた自動分類」を発表しましたので，その報告をさせていただきます．
研究概要
Webアンケートは手軽に回答を集めることができます．一方で，回答者が必ず答えられる自由記述設問において「特になし」や「fdjkgfg」といった不真面目な回答が集まってしまいます．こうした回答が多く集まってしまうと，有効なデータが少なくなってしまいます．そのため，こうした不真面目な回答が集らないようにすることが重要です．
不真面目回答が集まらないようにアンケートデザインを工夫する研究が様々行われています．そのデザインの有効性を評価するために一つ一つ自由記述の回答を見て，真面目か不真面目かを判断し分類する必要があります．しかし，大規模調査を行うWebアンケートはこの分類は時間と労力がかかるほか，ひとによって分類基準が異なります．
そこで本研究ではこの問題に着目し，そもそも質問に対する回答が対話の一種であると考え，GPTを用いて不真面目回答分類ができないか検討を行いました．
具体的には，今回以下の3つの手法を用いて，不真面目回答分類が可能かを調査しました．
単純判定手法：ひとが不真面目回答を分類する際の判断基準でGPTに判定してもらう手法
自信度指標手法：単純判定手法と同様の判定を行ってもらう際，その判定の自信度を出力する手法
点数付与手法：回答に対して点数を付与する手法
この3つの手法を実際のアンケートデータを用いて不真面目回答の判定を行った結果が以下の表となっております．なお，自信度指標手法は自信度が最も高いデータ（全体の92%のデータ）のみ，点数付与手法は10点以下を不真面目回答とした時の結果となっております．
不真面目回答分類結果
表より，F値について点数付与手法が最も高く，単純判定手法が最も低いことがわかりました．単純判定手法が低い原因として，再現率は0.88と高いものの，適合率が0.30と低く，多くの回答を不真面目と判定してしまっていることが原因と考えられます．そのため単純にGPTに不真面目回答と判定するのではなく，点数付与してもらい，こちらが閾値を設定するなど，判定を工夫することが必要であると考えられます．なお，GPTによる判定は，水族館や動物園リストなど，辞書を事前に用意しなくて良い点もメリットでした．
今後は，今の手法の精度向上，また新しい判定手法について考えていければと思っております．
詳しい内容は以下のスライドと原稿をご覧ください．
発表スライド
書誌情報
おわりに
天候に恵まれない日が多かったですが，学会合間に伊豆大島を楽しめてよかったです．学会は面白い研究が多く，また懇親会で多くの方と交流ができてとてもいい経験ができました．
アーニャさん
大島で食べたラーメン
大島で見た夕陽
最後になりますが，ご指導いただいた中村先生，研究室のみなさまにこの場を借りて感謝申し上げます．ありがとうございました．