SIGGN101にて「ポケット内のスマートフォンによる両足ジェスチャ認識手法の提案と分析」というタイトルで研究発表を行いました(田村柾優紀)

      2023/01/05

こんにちは中村研究室今年度M1の田村柾優紀です。花の便りも聞かれるようになりましたが、いかがお過ごしでしょうか。

今回3月10日〜3月11日にかけて行われた第101回グループウェアとネットワークサービス研究発表会に参加し、「ポケット内のスマートフォンによる両足ジェスチャ認識手法の提案と分析」というタイトルで口頭発表を行いましたので報告させて頂きます。

発表内容

今回の研究会では両足のジェスチャによりポケット内のスマートフォンを用いてデバイスを操作するという内容の研究を発表しました。

背景

現在のスマートフォンの操作方法である手と目を同時に必要とする方法には、向かない状況やそもそも操作出来ない状況が存在します。

例えば下図のように楽器を演奏している時が挙げられます。このように左手に楽器、右手に弦を持っている状況では、タブレットを指で操作してページめくりをすることはあまり向いていない状況といえます。他にも、料理中などの状況においては手を清潔にしてから料理を始めるため、途中でタブレットなどの端末でレシピの内容を再確認したい状況で、綺麗にした手で日常的に使用しているタブレットなどの端末に触り、ページめくりを行うことはあまり向いていない状況といえます。また、赤ちゃんを抱っこして寝かしつけをしている時(背中スイッチがついているのでなかなか赤ちゃんは寝ません)に暇つぶしで電子書籍を読みたいということがありますが、音声で入力しようとすると起きてしまうのでなかなか難しいというのが現状です。

こうした状況において、単純な戻る・進むといった操作だけでも簡単にジェスチャ操作できないかというのが本研究の目的で、色々なジェスチャの可能性があるのですが、戻る・進む程度であればそれぞれの足の動作に割り当てればすむことなので、この両足のジェスチャをポケットに入れたスマートフォンで認識するときに適切なセンサの組み合わせを検討し、実機を用いたシステムを実装することで利用から問題について洗い出しをしていくというものになっています。

ちなみに、ポケットからのジェスチャ認識についてはこれまでにも研究がなされているものの、ポケットは両足の中央にあるわけではないため、なかなか認識が難しく、それをポケット内での摩擦音なども利用して何とか認識できないかと健闘してみました。

 

目的

ポケット内にあるスマートフォンの様々なセンサを組み合わせることにより、両足でのジェスチャ認識の実現を目指しました。

認識精度の評価実験

具体的には、まず両足によるジェスチャ認識が可能かをデータセットを用いて検証するため、実験協力者に一定回数ジェスチャをしてもらうことで、ジェスチャログの収集を行い、データセット構築を行いました。

その次にそのデータセットを用いて、特定のウィンドウ幅においてSVM(サポートベクターマシーン)と、DPMatchingの認識精度の比較を行い、本提案システムにおいて、有用なジェスチャ認識手法の検証を行いました。その結果、DPMatchingを用いるよりも、SVMを用いた際の認識精度の方が高い傾向にありました。

以下の動画はデータセット構築時のイメージ動画となります

そこでSVMをシステムに用いた際に、適したセンサやウィンドウ幅などの組み合わせをF値により比較し、決定しました。その結果ウィンドウ幅25の角加速度3軸最大値最小値・加速度3軸最小値(9次元)の特徴ベクトルにより作成した分類器の認識精度がある程度高い精度となりました。

使用実験

そしてその認識精度が、ユーザにとって十分な精度かを検証するため、その組み合わせをもとに使用実験を行いました。システムの有用性は使用後に行ったアンケートにより検証を行いました。

アンケート結果
  • ページめくりまでにかかる時間は現時点でのシステムではやや遅いと感じる傾向にありました。
  • 認識精度についてはどちらともいえないと感じる傾向にありました。
  • 体感認識率の平均は73.1%でした。その中には25%と回答する人が存在しました。
  • 今後も使用したいと感じたかについては全体としてはどちらともいえないと感じる傾向にありました。
  • 意見・感想では「フィードバックが欲しかった」、「レシピを見るときなどの短時間の使用の方が向いている」などと記述されていました。

考察

  • 体感認識率を25%と回答した人の意見・感想には「人によって読むペースが違うのでフィードバック時間の設定をしていてやりにくかった」とあり、また他の人の意見では「連続でページめくりが出来ないように設定していてやりにくかった」との記述があり、システムの仕様が認識精度に悪影響を与えてしまったと考えています。
  • 今後も使用したいと感じたかについて全体ではどちらともいえないという結果になりましたが、8人中5人はやや感じたと回答をしているため、両足を用いたジェスチャ認識手法の有用性はある程度示されたと考えています。

今後の課題

  • 現在のシステムでは、自分のデータを作成するため、最低でも50回以上の教師データを必要とします。そのため、ユーザにとって教師データを作成する負担が大きいものとなってしまっています。そこで、教師データを作成する上で必要なジェスチャログの個数の調査や、過去にジェスチャデータを登録した人の教師データを初めて使用する人へ転用することで、自分の教師データを作成するコストの削減を行うことを検討しています。
  • ポケット内でスマートフォンの位置が変動することで認識精度が低下することも考えられるため、教師データを動的に更新することなども検討しています。
  • ジェスチャ認識が始まっているかを確認するためにフィードバックが欲しかったという意見があったため、フィードバックをどのように提示するかを検討しています。

研究の詳しい内容については下記のスライドや論文でご確認をお願い致します。

論文につきましては以下のリンクから参照出来ます。またアドレス宛てにご連絡くださればメールで論文をお渡しすることも出来ます。

ポケット内のスマートフォンによる両足ジェスチャ認識手法の提案と分析

メールアドレス:3351masayukitamura@gmail.com

質問

  • 料理中は歩くなどの動作もあるかと思うんですが、誤検知はどのように対応されているんでしょうか?
    • 現在誤検知については足を大きく動かす動作については対応出来ていません。そのため、歩きなどの動作により誤検知が発生してしまっているので、今後の研究で対策をしていきたいと考えています。
  • なぜ足によるジェスチャ認識を選んだのでしょうか?
    • 私はスマートフォンをズボンのポケットに入れることが多いです。そこで、ポケット内のスマートフォンによって足のジェスチャ認識を行い、他のデバイスを操作出来たら良いなと思ったのがきっかけとなりました。

感想

今回の発表では実際にシステムを使用し、両足によるジェスチャ認識によりパワーポイントのスライド操作を行いながら発表したので、今までの学会発表では経験したことがないほど、緊張してしまいました。ジェスチャ認識の精度は未だ100%の認識精度には達していないため、何回か失敗してしまいましたが、中村先生や研究室の仲間と何回も発表練習を行ったおかげで、なんとかその状況を切り抜けることが出来ました。なので、何回も行った発表練習が報われたように感じてとても嬉しかったです!今回の学会発表の時も緊張してしまったんですが、今後はもっと楽しんで発表出来るように心掛けていきたいと思います!

発表時の様子

 - news, research , , , , , ,