はじめに
中村研究室B4の三山貴也です。2025年1月14～15日に沖縄産業支援センターで開催された第211回HCI研究会にて研究発表を行いましたので、ご報告させていただきます。今回は「Webベースの実験における事前タスクを用いたユーザ分類の検討」というタイトルで発表してきました。
研究概要
背景と目的
クラウドソーシングについてご存じでしょうか。クラウドソーシングとは、インターネットを通じて不特定多数にタスクを依頼する仕組みのことで、アンケート調査やデータ収集などに活用されています。これにより、従来対面で行われていた調査がWeb上で完結し、短期間で大人数からデータを収集できるようになりました。一方で、不特定多数が匿名でタスクに取り組むため、不適切な回答や指示に沿わない回答がみられるといった課題もあります。
クラウドソーシングを利用して研究目的の実験を行うことも増えてきています。ここでは、アンケート調査のように文章での回答だけでなく、タスクに沿ったマウス操作やタッチ操作が必要とされる場合もあり、タスクは注意力を必要とするものになりがちです。そのため、不適切な回答を行わず真面目にタスクに取り組んでくれるユーザを募集することで、より高品質なデータを収集できると考えられます。
アプローチ
そこで本研究では、クラウドソーシングを利用した実験で適切なユーザを募集するために、実験の主となるタスクの前に事前タスクを設け、その結果をもとにユーザをスクリーニングするアプローチを考えました。このアプローチでは、事前タスクで多くのユーザに実験に参加してもらい、その結果をもとに抽出された適切なユーザのみに主タスクに参加してもらうことで、高品質なデータを収集することを目的としています。また、主タスクは注意力が必要で負荷が大きいことから実験参加に対する報酬は高くなりがちですが、事前タスクの報酬を低く設定し、主タスクで報酬を高く設定することで、適切なユーザのみに高い報酬が支払われ、実験全体にかかるコストの面でもメリットがあると考えています。
実験
今回の実験では、アプローチの初期検討として、事前タスクと主タスクの結果に関連があるのかを調査しました。この実験の結果、事前タスクと主タスクの結果に関連がみられた場合、事前タスクによって適切なユーザをスクリーニングできるといえることになります。
まず、実験の主タスクですが、下のアニメーションのように次々に出現する円（ターゲット）をマウス操作でクリックするポインティングタスクとしました。このタスクはフィッツの法則として知られているものになります。今回の実験では、ターゲットの直径を8px, 38px, 78pxの3種類とし、「速く」 or 「正確に（ミスクリックをしないように）」という教示のもとでタスクを行ってもらいました。
次に、事前タスクですが、下のアニメーションのようにマウス操作で画像のサイズを調整するサイズ調整タスクとしました。このタスクでは、実験参加者にクレジットカードなどの物理カードを用意してもらい、物理カードと画像のサイズを一致させる操作を行ってもらいます。もともとこのタスクは、ディスプレイの解像度（1mmあたり何pxか）を計算して、画面の表示の大きさを統制するキャリブレーションのタスクです。キャリブレーションは実験の主タスクの前に行う作業で、キャリブレーションを正確に行ってくれないユーザのデータは信頼性に欠けるものになってしまいます。また、サイズ調整タスクは2回実施することによって、1回目と2回目の結果の誤差から各ユーザがどれだけ正確に操作できているかがわかります。そのため、正確な操作が求められるポインティングタスクの事前タスクとしてサイズ調整タスクが使えるのではないかと考えました。
実験はYahoo!クラウドソーシングを利用して500人を対象として行い、①サイズ調整タスク ②ポインティングタスクの順でタスクに取り組んでもらいました。今回は、事前タスクと主タスクの結果に関連があるのかを調査することが目的なので、事前タスクの結果にかかわらずすべての参加者にサイズ調整タスクとポインティングタスクの両方を行ってもらいました。
結果と考察
アプローチのようにユーザのスクリーニングを行う場合、何らかの基準を設けて合格群（適切なユーザ群）と不合格群（適切でないユーザ群）にグループ分けを行うことが想定されます。そこで今回は、合格群を「サイズ調整タスクの1回目と2回目の結果の誤差が20px未満の操作が正確なユーザ」と設定して、群ごとにポインティングタスクの分析することで、事前タスクと主タスクの関連性を調査します。ここでは、サイズ調整タスクの操作の正確さをもとにグループ分けを行ったので、ポインティングタスクの操作の正確さを表すエラー率（ミスクリックの割合）について群ごとに比較を行いました（下のグラフ）。ここで、「正確に／W=8（正確に操作するように教示された状況で直径8pxのターゲットが出現した場合）」に着目すると、合格群では不合格群よりもエラー率が約4%低い結果となりました。そのため、サイズ調整タスクの操作が正確な合格群はポインティングタスクでも正確な操作を行う傾向があり、操作の正確さという点で事前タスクと主タスクの結果に関連がみられると考えられます。
また、下のグラフはポインティングタスクにおいて教示（速く or 正確に）ごとの操作時間（ターゲットをクリックするまでにかかった時間）をプロットしたものです。ここで、速く操作するように教示された場合には素早く操作するため操作時間が短くなり、正確に操作するように教示された場合にはミスクリックをしないように慎重に操作するため操作時間が長くなるため、真面目にタスクに取り組んでくれるユーザは「速く」「正確に」の教示によって操作時間の差が大きくなると考えられます。下のグラフでは、合格群のほうが不合格群よりも教示による平均操作時間の差が大きくなっていることから、合格群のほうが教示に沿った操作を行ってくれており、真面目にタスクに取り組んでくれるユーザが多いのではないかと考えています。
以上のように、サイズ調整タスクで正確な操作を行うユーザはポインティングタスクで正確に教示に沿った操作を行う傾向があり、実験参加者全体でみると事前タスクと主タスクの結果には関連があるといえそうです。しかし、すべてのユーザにこの結果が当てはまるわけではないことや、合格群の基準を主観的に決めていることなど、課題が残ります。今後は、より適した事前タスクの探究や、合格群の基準の設定方法の改善を行っていきたいと思います。
発表スライド
書誌情報
おわりに
自分にとっては3回目の発表で、学部生としては最後の発表になります。これから修士課程に進学して、もっといい研究・もっといい発表をしていきたいと思います。学会では様々な発表を聞くことができ、研究テーマの設定や実験の方法など参考になることがたくさんあり、学びの多い2日間でした。
また、沖縄では美味しい料理をたくさん食べることができてとても幸せでした。特にアグー豚のしゃぶしゃぶは絶品で、海ぶどうやパパイヤを豚肉で巻いて食べるという沖縄ならではの食べ方が最高でした（下の画像はアグー豚と海ぶどう）。
最後になりますが、ご指導いただいた中村先生、山中祥太さん、様々なアドバイスをいただいた研究室のみなさんに感謝申し上げます。ありがとうございました。
