淡路島で開催された第118回GN研究会で「Web上での調査における回答時間に着目した不適切な慣れの基礎調査」というタイトルで発表してきました(髙久拓海)

   

はじめに

こんにちは,中村研究室B4の髙久拓海です.

2023年1月23日~24日に淡路島で開催された第118回GN研究会にて「Web上での調査における回答時間に着目した不適切な慣れの基礎調査」というタイトルで発表してきましたので,そちらについて報告させていただきます.

研究概要

背景&目的

みなさんはスマホやパソコンでアンケート調査やオンライン実験に参加したことはありますか?

最近は,クラウドソーシングといったサービスのように安価に短期間で膨大なデータを取得できることが可能であるため,オンラインでデータを収集する機会が増えていて,それに伴いオンラインでアンケート調査や実験に参加する人が増えています.

一方で,オンラインでの作業は実験参加者の状態を注意する監視者などがいないため,知らずのうちに実験参加者が何らかしらの影響を受けている可能性が考えられます.このような影響を受けてしまうと,登録されるデータに一貫性が無くなるといった問題が生じる可能性があります.

そこで,私たちはオンラインの作業中に生じる可能性のある影響として慣れというものに着目しました.この慣れの影響の中で,作業を繰り返し行うことで実験参加者が回答を途中からリズム感覚で行ってしまうのではないかという問題に着目し調査を行いました.

分析

慣れによって回答が途中からリズム感覚で行われているかを調査するため,過去に中村研究室で行われた実験データを用いて分析を行いました.今回分析に使用したデータは下の画像のように,複数の選択肢から自分が一番適していると思うものを選ぶ選択実験となっています.なお,今回利用した実験データはこちらの研究で取得したデータです.(その1その2その3

また,実験データを登録した参加者の状態は次のような特徴があるのではないかと考えました.

  • 真面目に回答している場合は,質問の内容が異なるため回答時間がバラつく
  • 途中からリズム感覚で回答してしまった場合は,質問の内容に関わらず回答が等間隔で行われるようになる(下図のi+1からi+3のところ)

そのため,参加者が正常に回答を行えているかリズム感覚になってしまっているかを判断する指標として,今回は回答時間の標準偏差の値に着目しました.この指標を基に,実験参加者を真面目,リズム化,不真面目の3つのグループに分類して分析を行いました.詳しい実験条件については論文をご覧ください.

結果

各グループにおける選択肢の平均回答時間(s)

 

各グループにおける選択肢の選択位置の連続回答(%)

平均回答時間と選択肢を連続で選択した人数の割合について分析した結果,次のようなことがわかりました.

  • 真面目グループは,実験を通して回答時間が長く,作業が終盤になるほど同じ位置の選択肢を連続して選ばない傾向があった.
  • リズム化グループは,終盤になるほど回答時間が短くなり,同じ位置の選択肢を連続して選ぶ傾向があった.
  • 不真面目グループは,実験を通して回答時間が短く,同じ位置の選択肢を連続して選ぶ傾向があった.

考察

これらの結果から,作業中に慣れの影響を受けて回答を途中からリズム感覚で行ってしまった実験者は,

  • 作業が終盤になるほど回答時間が短くなる
  • 作業が終盤になるほど同じ選択位置の選択肢を連続して選ぶ傾向にある

ということが明らかになりました.

今後の展望

今後については次の点について研究を行っていきたいと考えています.

  • マウスカーソル操作や自由記述への回答など様々な操作が要求される作業で回答がリズム感覚になりやすいか調査
  • 回答時間の標準偏差という評価指標で慣れの影響をリアルタイムで検出できるか調査

発表スライド

論文情報

髙久 拓海, 小松原 達哉, 山﨑 郁未, 中村 聡史. Web上での調査における回答時間に着目した不適切な慣れの基礎調査, 情報処理学会 研究報告グループウェアとネットワークサービス(GN), Vol.2023-GN-118, No.39, pp.1-8, 2023.

感想

昨年度に引き続き,今回も淡路島で発表させていただきました.

前回見れなかったうずしおを見ることができて非常に楽しかったのですが,最終日に最強寒波の影響で予定していた観光を断念するなど,天候に恵まれない部分があったのが少し心残りですが,今回も研究室のメンバーと非常に楽しい時間を過ごすことができました.

最後になりますが,お忙しい中,分析や論文執筆,発表練習にお付き合いいただいた中村先生,研究室のメンバーにこの場をお借りして感謝を申し上げます.ありがとうございました.

 - report, research , , , , , , , ,