中村聡史研究室

明治大学 総合数理学部 先端メディアサイエンス学科: Human-Information Interaction / Lifelog / BADUI

Projects

中村研究室は,ひとに対する観察と,情報処理技術に対する理解をもとに,ひとが情報や様々なデバイスをお手玉するかのように,ひとと情報のインタラクティブシステムを実現することを目的としています.

HIImark2_B&W_S

中村研究室の研究プロジェクトは現在こんな感じです.

人の手書き文字・手描き図形の数理・認知科学的解明と応用

人の手書き文字や手描き図形はどのようなものなのか,ひとは頭のなかにある文字や図形をどのように再現しているのか,そして世の中の人の平均的な文字や図形はどういうものなのか,そしてその応用可能性について取り組んでいます.そのため,人の手書き文字や図形を数式として表現する手法を提案および実現しています.どのようにして手書き文字が数式表現化されているかについては,こちら(佐藤剣太君作)が参考になると思います.

理想と現実,そして平均

理想と現実,そして平均

また,人の頭のなかの文字や図形はどうなっているのかを明らかにするため,平均手書き文字[中村2014]平均手描き図形[新納2015][新納2016]という研究に取り組んでいます.この研究のこれまでの成果により

ということを明らかにしてきました.例えば複数人の平均化は下記のような感じになります.

avg_chara

スクリーンショット 2015-10-07 11.58.02

この様々な特性について,現在も色々な実験を行うことによって,ひとの手書きとは何なのかについて迫ろうとしています.

また,その応用として下記のような研究も行っています.

音楽動画の印象探索を可能とする印象推定に関する研究

「悲しい気分なので泣ける動画を探したい」「イライラしているので大笑いできる動画を探したい」などのように,動画(ここでは音楽と映像がミックスされているものを特に音楽動画と呼んでいます)を自身の思い浮かべた印象で検索・探索したいというニーズがあります.また,検索・探索のみならず,現在視聴している音楽動画と類似した印象の音楽動画を,またはまったく類似していない音楽動画を視聴したいと望むときに,印象に基づく推薦が求められています.そうしたユーザのニーズを満たすために,音楽動画の印象はどのようにしたら精度高く推定できるかについて研究をしています.

ここでは特に,そもそも音楽動画(音楽と映像がミックスされたもの)の印象は,音楽単体の印象と映像単体の印象をどのように組み合わせて表現されるのかということを明らかにするため,音楽のみ映像のみ,音楽と映像ミックスしたもののサビ部分に対する印象評価データセットを500曲分構築し,そのデータセットを利用して印象評価がどう組み合わせられるかについて取り組み[大野2015][大野2016],質の高い音楽動画において音楽と映像の印象はそれぞれ足し合わせた形で高めあう傾向が高いことや,適当に音楽と映像を組み合わせる場合は,音楽が印象を決めることが多いため,音楽をより考慮したことがよいことなどを明らかにしてきました.

a

また,音楽動画に対して投稿されたソーシャルコメントから,音楽のみ映像のみの印象をどの程度推定可能かということについても研究しており[土屋2015][土屋2016],メディアのタイプによって印象推定精度が異なること,印象軸によって推定に有効な品詞が異なることなどを明らかにしてきています.この研究の発展で,現在音楽自体の特徴量,映像自体の特徴量などについても分析し,その印象評価を組み合わせる手法について取り組んでいます.

さらに,このコメントからの印象推定を利用した音楽動画のサムネイル動画自動生成(15秒程度のサムネイル動画の生成)に関する研究[前島2016]や,その他の応用についても取り組んでいます.

コンテンツ装飾に関する研究

ウェブ上に存在する膨大な画像や動画を閲覧・視聴するのは,それだけで楽しいものですが,もっと自分っぽく楽しくしたい,もっと感情豊かにしたい,もっとわかりやすくしたいといったニーズはあるものです.これは,ご飯を食べに行ったときに,もう少し自分の味にしたいと,七味や胡椒などの調味料を足すのに似ています.

130928小さな幸せ概念図

我々はこれをコンテンツ装飾と呼んでおり,ウェブ上の任意の画像や映像に対して,上に装飾を付与するフィルタを同時提示する手法を実現しています.

スクリーンショット 2015-10-15 17.28.42これまでの研究では

  • 動画に対する音声・音楽装飾手法 [中村2013]
  • 動画に対する視覚的装飾付与手法 [松田2015a]
  • 画像に対する視覚的装飾付与手法 [松田2015b]

などを実現しています.このシステムについては,Decobyという名前でChrome拡張として配布していますので,ご興味のある方はお試しいただければと思います.なお,この研究を発展させて便利に使える手法などについても研究に取り組んでいます.

視線や体の動きを利用した視聴体験拡張に関する研究

ひとの視線は様々な特性を持っており,視線の先を中心とした中心視,そしてその周辺としてぼんやり見えている周辺視があります.このひとの視線の動きを活かしたり,周辺に何らかのエフェクトを提示することによって動画などの視聴体験を拡張する研究を実施しています.

これまでの研究では

  • ひとの視線に追随する形で集中線や懐中電灯風のエフェクトを提示することによって,スピード感などを増幅する研究 [田村2015][田村2016]
  • 視線に追随する形で中心視以外をぼかすことによって,迫力や立体感などを増幅させる研究 [山浦2016]
  • 動画の周辺にエフェクトを提示し,周辺視部分を刺激することによって焦りなどを強調し動画の印象を変化させる研究 [松井2015][松井2016]
  • 動画の周辺に錯視図形を提示し,周辺視部分を刺激することによって動画の視聴体験を拡張する研究 [福地2016]

エフェクト例4

image

などの研究に取り組んでおり,システムを実装して実験することによりそれぞれその有用性を示しています.現在は,こうした視線の動きや周辺視の特徴を利用した研究に取り組んでいます.

また,視線以外としてひとが映像の中に入り込むことを可能にすることによりコンテンツの体験を拡張するVRMixerの応用研究[牧2015]についても取り組んでいます.

ライフログ・記憶に関する研究

ひとの記憶を記録し、

ネタバレ防止に関する研究

ネタバレというのはそのコンテンツを楽しもうとしているひとにとっては大きな問題であり,ネタバレによってコンテンツを視聴・閲覧する気がなくなったり,喧嘩になってしまったりといったことは珍しくありません.我々は,こうしたネタバレをいかに防ぐかという点に注目して,研究に取り組んでいます.

これまでは,我々はまずそもそもシステムが完璧にネタバレを判定することが難しく,ひとはすぐにネタバレに気づいてしまうという問題に着目し,システムが完璧にネタバレを判定できないときのユーザインタフェース的な仕組み(ごみを混入させたり,結果をあいまいに反転させるなど)を実現し,論文化しました.

また続きの研究として,Twitter上でのスポーツのネタバレはどういうものなのかということを,直接的なネタバレ・間接的なネタバレと分類してその特性を分析し[白鳥2015],システムが試合展開を把握しながら識別器を切り替えることによって特に判定の難しい間接的なネタバレを判定する手法[白鳥2016]を提案してきました.

さらに,Twitter上でのアニメのネタバレについても,その地域に応じた放送時間差によって日本ではアニメのネタバレでどういった問題が生じるのかを明らかにするとともに[田島2015],SVMで判定する手法を実現してコンテンツによるネタバレの判定難易度について明らかにしています[田島2016]

ユーザインタフェースの失敗学に関する研究

BADUI(Bad User Interface)については「失敗から学ぶユーザインタフェース」という本や,楽しいBADUIの世界BADUIタレこみサイトなどにまとめていますが,この失敗してしまうユーザインタフェースを何とかするための研究や,応用していく研究,その分類学に関する研究などについて取り組んでいます.

そのうちの1つが,ウェブ上の説明が不十分でわかりにくい画像に対してマウスカーソルの動きや人の動きといったアニメーションを重畳することによって,理解度を向上させるというものです[樋川2016].また,それ以外にもウェブ上のフォームに対して機能を埋め込むことによって間違いをなくす方法などにも取り組んでいます.

公開日:
最終更新日:2016/10/15