こんにちは。中村研究室の畑中健壱です。
2026年1月22日、23日に宮古島で開催された第127回CN研究会にて、「自由記述回答の定量評価に向けた画像説明タスクの提案：進捗バー速度と回答欄サイズの影響比較」というタイトルで研究成果を発表してきましたので、その内容を報告させていただきます。
記事のポイント
- 課題：Webアンケートの自由記述のUIを評価する際、設問による回答者個々の経験や知識の有無が影響
- 提案：回答者の知識や経験に依存しない「画像説明タスク」を評価手法として提案
- 結果：画像説明タスクを利用し、これまでのUIの効果を再検証することができた
目次
- 研究の背景
- 提案手法「画像説明タスク」
- 実験と結果
- 発表スライド
- 文献情報
- おわりに
1.研究の背景：アンケートの「自由記述」をどう評価するか？
Webアンケートにおいて、回答者の本音や詳細な情報を得られる「自由記述」は非常に重要な設問です。しかし自由記述は選択設問などと比べ回答するための負担が大きく、適当に回答したり、空欄で出されたりすることも少なくありません。そのため、こうした適当な回答や空欄で出されることを防ぐ他、自由記述で多くの回答をしてもらうために、自由記述設問を工夫することが重要です。
これまでの中村研究室において、回答の質を向上させる要素として、アンケートにおける自由記述設問の位置や、回答欄の大きさについて検討をしてきました。こうした自由記述の要素を評価する際、多く用いられる指標として「回答文字数」や「トピック数」といった得られた回答に関する情報を用いることが多いです。
しかし、「回答文字数」や「トピック数」といった指標は設問によっては回答者個人の経験や興味の有無に影響します。例えば、政治に関するアンケートで評価を行う場合、政治に興味がある人であれば自由記述で書く内容があるため、回答欄が大きくなると回答文字数やトピック数が多くなる可能性があります。一方、政治にあまり興味がない人にとってはそもそも書く内容に限りがあるため，回答欄が大きくとも回答文字数やトピック数には変化がありません。このように、回答者個人の経験や興味の有無に影響する設問を用いて評価をすることは、自由記述の要素の効果を正確に把握することができない可能性があります。
そのため回答者個人の経験や興味の有無に影響しない設問で自由記述を評価することができれば、自由記述の要素の効果を正確に測ることができるようになります。
2.提案手法：「画像説明タスク」
そこで本研究では、回答者個人の経験や興味の有無に左右されず、自由記述の要素の影響を純粋に測定するための「画像説明タスク」を提案しました。画像説明タスクは文字通り、提示された画像についてその画像の説明文を記述してもらうものになります。
なぜ「画像説明タスク」が評価に適しているのか？
本研究で提案する「画像説明タスク」には、従来の自由記述設問にはない、評価指標としての大きなメリットが2つあります。
- 知識・経験による「書ける量」の差を最小化できる: 提示された画像の中に書くべき要素がすべて表示されており、「詳しくないから書けない」という事態を防ぎ、純粋にUIの差を測定することが可能になります。
- 正解を設定できる: 画像内に映っている出来事をあらかじめ定義することができるため、回答者がその出来事を漏れなく説明できたかという「網羅性」を定量的に評価することが可能になります。
本研究で利用した画像説明タスクの実際の画像
具体的には、以下のような画像を回答者に提示して説明文を書いてもらいました。
この画像はGPTを用いて作成しています。画像のように複数の出来事が同時に起こっている画像を利用することで、説明することでができる箇所を豊富に用意しました。これにより、回答欄の大きさなどの要因が記述量に及ぼす影響を観測しやすくする狙いがあります。
3.実験と結果
「画像説明タスク」がアンケートUIを評価するための有効な手法であるかを検証するため、実際に画像説明タスクを利用した実験を行いました。
今回は先行研究ですでに効果が明らかになっている回答欄の大きさに着目しました。画像説明タスクを利用して、先行研究の結果を再現できれば、画像説明タスクはUIを評価するための有効な手法であると考えられます。
※本研究では進捗バーの速度による影響も調査していますが、本記事では回答欄の大きさに関する結果に絞ってご紹介します。
実験設計
今回の実験はYahoo!クラウドソーシングを利用して計1600名の参加者を対象に比較実験を行いました。
検証した回答欄の大きさ
- small（80px）
- medium（160px）
- large（240px）
実験結果1：画像説明タスクの有効性
実験の結果、先行研究と同様に回答欄の大きさが大きくなるほど、回答文字数が有意に増加するという傾向が確認されました。
これは、今回提案した画像説明タスクを用いても、従来のアンケート設問と同じUI効果を正確に測定できることを示しています。つまり本タスクが個人の知識や経験の有無に左右されない、UI評価のための有効なタスクとして機能すると考えられます。
実験結果2：回答欄の大きさの影響
画像説明タスクのメリットとして、全員が同じ画像の説明を記述しているため、画像内の出来事をいくつ言及していたかという指標を用い、比較することが可能になります。
実際に今回の実験で得られた画像の説明について言及数を集計したところ、回答欄の大きさにかかわらず、出来事の言及数に差が出ませんでした。
結果をまとめると回答欄の大きさが大きくなると「文字数は増えているのにも関わらず、触れられている出来事の数は変わらない」ということがわかりました。この結果は、回答欄の大きさは回答者が提供する情報の幅を広げるのではなく、情報の密度に影響を与える可能性があることがわかりました。
4.発表スライド
今回の発表で使用したスライドです。今回割愛した進捗バーに関する結果もこちらに掲載しています。
また本研究の詳しい内容が記載されている研究会原稿（こちら）に公開されています。より深い内容に興味のある方は、ぜひあわせてご覧いただければ幸いです。
5.文献情報
6.おわりに
今回のCN研究会は宮古島での開催ということもあり、学会の合間においしい沖縄料理や綺麗な海を楽しむことができました。また機会があれば行きたいですね。
最後までご覧いただきありがとうございました。