はじめに
こんにちは！中村研究室M1の三山貴也です！
2025年11月26, 27日に淡路夢舞台国際会議場で開催された第215回HCI研究会にて発表を行いましたので、ご報告させていただきます。
今回は「クラウドソーシングを活用したGUI実験における参加者スクリーニング手法のスマートフォンでの検証」というタイトルで発表してきました。
研究概要
この研究は、第211回HCI研究会と第214回HCI研究会で発表した研究の続きになりますので、よろしければそちらもあわせてご覧ください。
背景・目的
クラウドソーシングについてご存じでしょうか。クラウドソーシングとは、インターネットを通じて不特定多数にタスクを依頼する仕組みのことで、アンケート調査などのデータ収集に活用されています。これにより、従来対面で行われていた調査がWeb上で完結し、短期間で大人数からデータを収集できるようになりました。一方で、不特定多数が匿名でタスクに取り組むため、不適切な回答（本来は回答できる設問を「特になし」で済ませるなど）がみられるという課題もあります。
クラウドソーシングを活用して研究目的の実験を行うことも増えています。ここでは、アンケート調査のように文章での回答だけではなく、マウス操作やタッチ操作をメインとする実験（GUI実験）も一般的になっています。そのため、そこで発生する不適切な操作（雑にクリックする、無意味に連打するなど）に対処することも課題となります。
こうした課題を踏まえ、この研究ではクラウドソーシングを活用したGUI実験を対象に、不適切な操作をしない適切なユーザを募集して、高品質なデータを収集することを目的にしています。
アプローチ・実験
この研究では、適切なユーザを募集するために、実験の主タスクの前に事前タスクを設け、その結果をもとにユーザをスクリーニングするアプローチを採用しました。ここでは、事前タスクで多くのユーザに実験に参加してもらい、その結果をもとに抽出された適切なユーザのみが主タスクに参加することで、高品質なデータを収集できると考えています。
まず、事前タスクは下図のように画像をリサイズするタスク（サイズ調整タスク）を採用しました。このタスクでは、参加者に物理カード（クレジットカードなど）を用意してもらい、物理カードのサイズと一致するように画像をリサイズしてもらいます。今回は、サイズ調整タスクの誤差（リサイズされた画像と物理カードのサイズの差）が小さいほどユーザが正確に（適切に）操作できていると評価しました。サイズ調整タスクで適切に操作するユーザは主タスクでも不適切な操作をしないと期待できます。
次に、主タスクは下図のようにターゲット（水色のバー）をタップするポインティングタスクとしました。このタスクはフィッツの法則として知られているもので、ターゲットをクリックするまでの時間（操作時間）とミスの割合（エラー率）について評価しました。
実験はYahoo!クラウドソーシングを利用して500人規模を対象として行い、①サイズ調整タスク ②ポインティングタスクの順でタスクに取り組んでもらいました。今回は、事前タスクの結果にかかわらずすべての参加者にサイズ調整タスクとポインティングタスクの両方を行ってもらいました。
これまでの研究との違い
事前タスクをサイズ調整タスク、主タスクをポインティングタスクとした検証は、これまでの研究でも行ってきました。しかし、これまでの研究はPC環境に限定されており、画面表示サイズをmm単位で制御できないという課題がありました。そこで今回の研究では、スマートフォン環境を対象として画面表示サイズをmm単位で制御して実験を行いました。PCだけでなくスマートフォンにも対象を広げたうえで厳密な検証を行うことにより、スクリーニングの効果を明確にすることを目指しました。
分析・シミュレーション
実験で取得したデータを使って、サイズ調整タスクによるスクリーニングが効果的かどうか分析を行いました。今回も前回の研究と同様にサイズ調整タスクの成績が悪い参加者（不合格群）が混ざると実験結果にどのような影響があるのかシミュレーションして、スクリーニングの効果を定量的に評価します。
具体的には、参加者全体に含まれる不合格群の割合を変化させて、そのときのポインティングタスクの結果が既知の結果にどれだけ適合するか（R²が1に近いほど適合）分析します。例えば「不合格群0%ではR²=0.9だが、不合格群50%では0.8に低下してしまう」という結果ならば、スクリーニングによってR²の値が向上し、高品質なデータ（既知の結果を再現可能）を取得できるといえそうです。
また、不合格群と判断する基準（閾値）を変化させる検証も行いました。今回はサイズ調整タスクの誤差が小さいほど成績が良いとしているため、ある閾値を超えた誤差を示した参加者は不合格群に分類されるようになっています。
分析結果の一例として、参加者全体を80人と仮定した場合のエラー率に関する結果を示します。下図は、横軸が不合格群の割合（左が少なく、右が多い）、縦軸が閾値（上が厳しく、下が緩い）となっており、それぞれの場合での結果についてR²の値（緑が高く、青が低い）を示しています。この図をみると、右下から左上にかけてR²の値が向上していることがわかります。そのため、不合格群の割合を少なくするほど（図の左側部分）、閾値を厳しく設定するほど（図の上側部分）、R²の値が向上するという結果になり、スクリーニングが効果的といえる結果となりました。この結果は、前回の研究よりも厳密な検証で得られたものであり、スクリーニングの効果をより明確にできたといえます。今後はスクリーニングが他の実験（ステアリングの法則など）にも適用できるかの検証も行っていきたいと考えています。
発表スライド
書誌情報
おわりに
自分にとっては5回目の学会発表で、このテーマでは3回目の発表でした。もうM1の12月ということで、学会でいただいた意見を踏まえて、修士論文に向けて研究をさらに進めていきたいと思います。
また、学会前には神戸を観光し、港がとても開放的で歩いているだけで気持ちよかったです。港の近くの水族館にも行き、みんなで楽しい時間を過ごしました（下の写真のようにアート寄りの展示でした）。
最後になりますが、ご指導いただいた中村先生、山中祥太さん、様々なアドバイスをいただいた研究室のみなさんに感謝申し上げます。ありがとうございました。
