台湾のワークショップから帰ってきて3日後には長野に移動と，ドタバタした9月を過ごして一瞬で夏が終わった中村研M1の又吉です．
2019年9月25日から27日まで長野で開催された第27回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2019）にて登壇発表(ショート)させていただきました．
壇上で質疑に答える又吉
発表内容
背景
ニコニコ動画上には「踊ってみた」と呼ばれるダンス動画が18万件以上も登録されており一大コンテンとして，多くのユーザーが楽しんでいます．また，ダンスに関連してそのダンスモーションの特性を利用して自分が踊りたくなるようなダンス動画を探すことや，自分の個性にピッタリのダンス動画を探したいといったニーズはあるものの，そうした検索を可能にするモーションデータというのは存在していません．また，モーションを直接検索することで，楽曲を推薦するというようなモーションデータを利活用する研究というのもなされていますが，こちらもダンスモーションを利活用する研究のダンスモーションは不足していることが問題となっています．
一方，深層学習技術により動画から自動でダンスモーションを推定できる手法で解決できる可能性が高まってしました．しかし，推定結果には，時間的に不連続な動きや足が入れ替わると行ったようなエラーが生じます．そのエラーを訂正するためには，各ボーンのキーフレームアニメーションからエラーがある箇所を探し出し，個別に訂正するといった膨大な手間がかかります．深層学習で自動推定したモーションを効率的に訂正する仕組むが必要となっています．これはあまりに大変な処理であるため，ひとの修正を支援して上げる必要があります．
目的
本研究の目的は，ダンス動画から深層学習を用いて自動推定したモーションに含まれているエラーを検知し，訂正の支援を行うことです．
対象とする動画の種類
対象とする動画は，「カメラと背景が固定」「カット割りがない」「1人の全身が写っている」など，いわゆるニコニコ動画に一大カテゴリとして存在している「踊ってみた動画」です．
提案手法
音楽にはサビなどの繰り返しが存在するようにダンス動画にも振り付けの繰り返しが存在します．そのような似た振り付けがされている箇所では，その画像同士も似ており，画像間の類似を求めることで，類似しているダンスの振付の時刻を求めることができます．その求めた時刻を用いて，「モーションが間違っていても他の正しい時刻から候補を表示する推薦」や「訂正したポーズを他の間違っている時刻にコピー」などが可能になります．画像間の類似は，画像間の自己類似行列を求める類似度行列を用いて求めます．詳しくは，論文やスライドを参照してください．
提案手法の概要
5分間のダンス動画から求めた類似度行列
対角線に線が濃く出ているのは，同じ画像同士の比較を行っているため，数値が常に1.0になっているからであり，さらによく見て見ると所々に斜めの線を発見できます．その斜めの線は，ずっと類似した画像が時系列に並んでいることから，分析することで似た振り付けが行われている時刻を求めることができます．
システム
類似度行列をリアルタイムに検索できるように加工し，Web上で動作するプロトタイプシステムを実装しました．実際に深層学習から自動で推定したモーションを用いてプロトタイプシステムを用いたところ，体全身を使う大きな動作にエラーがある場合には正しいポーズの推薦ができました．
議論
今後の提案に関する議論
現在はダンス動画を画像解析することにより求めた類似度行列のみを用いているが，モーションの解析を先行研究を用いて行うことで，モーションからも類似度行列を求めることができ，類似度行列同士を比較することで，モーションの訂正が必要な箇所を推薦することができるようになると考えています．
今後の展望
今後の展望
ユーザが動画投稿サイトやSNSからダンス動画をシステムに登録するだけでダンスモーションを手軽に訂正することができ，モーションデータのデータベースを構築することで，ダンス動画検索や振り付け生成，モーション分析などの様々な利活用が可能になると考えています．
発表スライドと原稿は下記から参照可能です．もしご興味がありましたらどうぞ！
発表スライド
論文情報
上田観光
上田城跡公園の櫓門
信州名物のおそばとかき揚げ（意外と量が多かった）
帰りに，アニメ映画サマーウォーズの聖地である上田市まで行って来ました！上田城跡公園はもちろんのこと，美味しいおそばも食べて来ました．日差しが暑い日でしたが，昔から好きな作品の聖地巡礼できてとても満足しました．