はじめに
こんにちは！中村研究室M1の山﨑郁未です。
2022年11月8,9日に淡路夢舞台国際会議場にて開催された第200回ヒューマンコンピュータインタラクション研究会で発表してきましたので、報告させていただきます。
今回は、「Webアンケートにおける不真面目回答削減に向けた回答分類とその検討」というタイトルで発表してきました。
研究内容
Webアンケートは手軽に多くの回答を集めることができるメリットがあり、研究の基礎データ収集や社会調査で利用されています。
ここで、Webアンケートにおける自由記述の設問においては、不真面目回答が見られるという問題があります。例えば、回答者全員が回答できる設問において「特になし」「わからない」と自分の意見を書かない回答者、「abcdef」のような適当な文字列を書く回答者もいます。このようなデータが含まれた状態で分析をしまうと、分析データ全体に影響が出てしまいます。
我々は過去に、「Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討」というタイトルで、自由記述の位置による不真面目回答率や文字数、離脱率の調査を行いました。その結果、自由記述を最初に配置することで、不真面目回答率が低くなるものの、文字数が少なくなる傾向、また自由記述設問の段階で離脱する人が多いことを明らかにしました。
しかし、過去の研究では、不真面目回答の明確な基準がなかったため、判断がブレてしまっていた恐れがあります。これは、不真面目回答のガイドラインがなかったことが問題であると我々は考えました。
そこで、本研究では、「自由記述の回答分類および回答者分類を行い、ガイドラインを提案し、回答者分類の特徴について分析する」ことを目的に分類および分析を行いました。
まず、回答分類については、著者2人により手作業で回答者1人あたり4問の自由記述、計3916件の回答の分類を行いました。その結果、以下の4つに分類することができました。また、その回答例については括弧書きにて示します。設問は「運転で気をつけていること」です。
- 真面目回答：設問の意図を理解しており、設問の意図に沿った自分の意見を回答しているもの（死角に気をつけている、子供の飛び出し）
- 不真面目回答：自分の意見を回答していないもの（特になし、わからない、さ）
- 読解力不足回答：自分の意見は回答しているものの、設問とは全く関係ない回答をしているもの（安心、前後左右の状況確認が緊張する）
- 説明不足回答：設問の意図を理解しており、自分の意見を回答しているが、設問で実際に得たい回答とは異なるもの（安全運転、事故を起こさないこと）
また、上記の解答分類から、回答者分類を行いました。その結果、以下の5つに分類することができ、条件は回答者分類の右に記載します。
- 真面目回答者：4 つの設問全て真面目回答をした人（真面目回答、真面目回答、真面目回答、真面目回答）
- 読解力不足回答者：読解力不足回答を 1 つでもした人（真面目回答、読解力不足回答、真面目回答、真面目回答）
- 飽き回答者：1、2 問目(1、2、3 問目)は真面目回答であるものの，3、4 問目(4 問目)では不真面目回答または説明不足回答をした人（真面目回答、真面目回答、不真面目回答、説明不足回答）
- 不真面目回答者：読解力不足回答者および飽き回答者に当たらず，不真面目回答をした人（真面目回答、不真面目回答、真面目回答、真面目回答）
- 説明不足回答者：読解力不足回答者および飽き回答者，不真面目回答者に当たらず，説明不足回答をした人（真面目回答、説明不足回答、真面目回答、真面目回答）
このように回答者を5つに分類することができました。ここで、回答者分類ごとに自由記述4問の回答時間を比較しました。その結果を以下に示します。
表から、真面目回答者が最も回答時間が長く、不真面目回答者が最も回答時間が短いことがわかります。合計回答時間で分散分析を行ったところ、全体で有意差が認められました。ここで、真面目回答者、飽き回答者、説明不足回答者は設問の意図は理解しているにもかかわらず、差が見られた理由を明らかにするため、設問ごとの回答時間を算出しました。そのグラフを以下に示します。
グラフから、1問目を除いて真面目回答者と飽き回答者・説明不足回答者の回答時間が短いことがわかり、特に4問目では大きな差であることが見られます。設問ごとに分散分析を行ったところ、5つで有意差が認められました。
ここで、過去の研究では、自由記述の位置により不真面目回答率などに差が見られたため、本研究では回答者分類ごとに自由記述の位置で比較を行いました。合計回答時間の平均を以下の表に示します。
表から、全ての回答者分類で自由記述が最初のグループで回答時間が長いことがわかります。ここで、回答者分類ごとに自由記述の位置でt検定を行ったところ、飽き回答者と不真面目回答者でそれぞれ有意差が認められました。また、文字数についても分析を行いました。
有意差は認められなかったものの、真面目回答者と説明不足回答者については、自由記述が最後のグループの方が文字数が多いこともわかりました。
このことから、回答者分類ごとにアンケートの対処方法が変わるのではないかと考えています。現在考えているのは、アンケートを動的に変更するシステムです。具体的には、アンケートの最初に選択設問などで回答時間を測ったのち、その回答時間が短ければ不真面目回答者や読解力不足回答者とみなし、まだアンケートに飽きていない最初の段階で自由記述を回答してもらいできる限り不真面目回答をなくす、飽き回答者や説明不足回答者は自由記述4問目で回答時間が減ることから、自由記述を最初に回答してもらうことが効果的であると考えています。一方、真面目回答者は有意差は認められなかったものの、自由記述を最後にすることで文字数が増えるため、自由記述を最後に回答してもらうことでより良い回答を集められると考えています。
さらに、過去の研究では、アンケートを依頼開始してから10分以内にアンケートを開始した人、10分以降に開始した人で不真面目回答率や回答時間に差が見られました。そこで、本研究でも回答者分類ごとにアンケート開始時間による比較を行いました。自由記述の合計回答時間の平均を以下の表に示します。
この表から、有意差は認められなかったものの、飽き回答者を除く4つの回答者分類で、10分以降にアンケートを開始した人の方が回答時間が長いことがわかりました。また、文字数についても分析を行いました。
表から、回答時間と同様に飽き回答者を除く4つの回答者分類で、10分以降にアンケートを開始した人の方が文字数が多いことがわかりました。回答者分類ごとにアンケート開始時間でt検定を行ったところ、真面目回答者で有意差が認められました。
今後は
- 同様の回答分類、回答者分類になるか、他のアンケートで検証
- アンケートを依頼してから10分以内にアンケートを開始した人、10分以降に開始した人の特徴についてさらに分析
- さまざまな特徴を持つ回答者に対応したアンケートシステムを開発
を行っていきたいと思っています。
発表スライド
論文情報
感想
過去に対面で参加してきた学会は、全て淡路夢舞台国際会議場で発表させていただいており、今回で3回目となり、会場やホテル内のことはほぼ知り尽くしました。ですが、今回初めての経験が2つありました。
1つ目は、11/8の夜、淡路夢舞台国際会議場の中庭から皆既月食を見ることができました！空一面を見渡すことができ、貴重な経験となりました。2つ目は、11/9の朝、ホテルの部屋から日の出を見れたことです。今までは日の出が見えない部屋に宿泊をしていたのですが、今回は見える部屋で、起床して準備をしながら素敵な朝を迎えることができました！写真は日の出前の綺麗な海の写真です(笑)
このように毎年淡路島で発表させていただけるのは、丁寧にご指導いただいている中村先生、同期、先輩、後輩のおかげです。ここに感謝申し上げます。また、会場運営、研究会・懇親会開催にご尽力いただいた運営委員の方々に感謝申し上げます。
これからも成果を上げられるよう、研究を頑張りたいと思います！
ピンバック: 中村研究室 2022年度の成果 | 中村聡史研究室