中村研究室M1の阿部和樹です。
3月4日〜6日に長崎県佐世保市ハウステンボスで開催された第11回データ工学と情報マネジメントに関するフォーラム（DEIM2019）にて、「スマートフォンのセンサ情報を用いたユーザのストレス判定手法の検討」というタイトルで研究発表をしましたので、その報告をさせていただきます。
研究概要
今回の研究は、スマートフォンにおけるサービスのUIの問題点を検出するために、その問題から生じるユーザのストレスの状態を、スマートフォンのセンサから推定することで、結果的に問題があるかどうかを洗い出す研究になっています。
みなさんは日頃利用しているスマートフォンのアプリやサービスに対して、その使い勝手の悪さからストレスを感じるという体験はないでしょうか？ 例えば、画面の読み込みに時間がかかることや、Webページに頻出するバナー広告などの意図しない部分をタッチしてしまうなどがあると思います。このような問題はサービスのUI（ユーザーインターフェース）に原因があることが多いのですが、サービスの開発者はこれらの問題に気づきにくいため、改善が難しいことが多々あります。
本研究ではこれらの問題に対し、サービスに対してユーザがストレスを感じる場面を自動で検出することによって、問題箇所の特定に利用することを目指しています。そのための手法として、スマートフォンのセンサを利用し、それらのデータからユーザのストレス状態を推定する方法を検討しています。ユーザがストレスを抱えている場面では、乱暴な操作や体の揺れなどユーザの特徴的な動きがあると考えられ、それらをスマートフォンの動きに関するセンサ情報（加速度など）から機械学習によって推定するという試みです。
研究ではまずはじめに、ストレスを感じる場面におけるセンサ情報を収集するためのデータセット構築からスタートしました。今回はユーザにストレスを感じさせるタスクとして、漫画を読んでいる途中に、ページの読み込みによる遅延を発生させるタスクを用意しました。下の図のように、漫画を読み進めている途中でページの読み込み（ローディング）が入り、普段より遅れてページが表示されるというものです。このような場面は実際の漫画ビューワーでも起こることであり、早く先を読みたいのに焦らされる状況はストレスを感じる場面となります。これらのタスクを行っている最中のスマートフォンの加速度・角速度・傾きのセンサ情報を収取し、データセットを構築しました。
データセット構築に用いたタスク
これらのデータセットをもとに、遅延が発生した読書をストレス状態、遅延が発生しなかった読書を非ストレス状態とし、それぞれの状態を機械学習によって推定する実験を行いました。それぞれの状態におけるセンサ情報から特徴量を抽出し、698件のデータについてストレス状態・非ストレス状態の2値分類を行った結果は下記のとおりです。
- ストレス状態・非ストレス状態の推定の正解率は69.1%となった
- 遅延時間（読み込み時間）が長いほどストレス状態の判定精度（再現率）が高くなる
また、ストレス状態・非ストレス状態の定義をより明確にするため、下の図のように読み込み時にプログレスバーを表示することにより、ストレス状態・非ストレス状態の状況を作る新しいタスクによるデータセットの再構築を行いました。プログレスバーの表示が待機時間を短く感じさせるという先行研究の知見を利用し、プログレスバーの表示なしの状態をストレス状態、表示ありの状態をストレス状態としました。これらのデータを同じく機械学習によって判別したのですが、正解率は55%と低い結果となりました。
プログレスバー提示の例
今回はストレス状態の推定精度が低いという結果になりましたが、データセットを見直すことで推定精度を上げることを目指したいと思います。また、今回のストレス状態の推定とは別に、ボタンが押しづらい状況などの別の使いづらい場面を推定する方法にも取り組んでいく予定です。
発表スライド
発表に使用したスライドがこちらになります。
発表原稿
感想
今回の会場は長崎ハウステンボス！！ということで、豪華な会場で発表してきました！なにげに九州初上陸です！
大きい会場にたくさんの参加者と、今まで参加した学会の中ではダントツで規模が大きい学会でした。そんな中でも場の空気に呑まれず、発表をやり遂げることができたのは一緒に参加した心強い先輩・後輩のおかげだと思ってます！特にM2のメンバーとは、一緒に遠出する最後の機会だと思うと感慨深くもありました…皆さん本当に3年間、お世話になりました！そして田村さん＆前島さん、受賞おめでとうございます！！
ハウステンボスにて熊との写真（熊の方にピントがw）