第130回MUS研究会で「配信ライブの同時視聴におけるヘッドバンギング同期のための動作推定手法」というタイトルでオンライン発表しました（二宮洸太）

だんだん暖かくなってシャツ一枚で外に出れる季節になりました．いかがお過ごしでしょうか．B4の二宮です．

2021年3月16日から17日にオンラインで行われた，第130回MUS研究会・第59回EC研究会合同研究発表会で発表させて頂きましたので，その報告をここに記します．

研究内容

みなさま，ヘッドバンギング(以下ヘドバン)をご存知でしょうか？
こちらの動画をご覧ください．

観客とアーティストが一体となって頭を振っている様子が見えると思います．これがヘドバンです．

このヘドバンは会場でのライブで行われるだけでなく，配信ライブでも行われています．しかし，配信ライブでは他の人がヘドバンをしているかを知ることはできず，自宅で一人で寂しくヘドバンをするだけで一体感を得ることは難しく切なくなってしまいます．

そこで本研究では配信ライブ視聴時に，視聴者が個人で行っているヘドバンを推定し，それをリアルタイムに共有して一体感を得ることを目的として研究を行ってきました．

特に今回はヘドバンの予備動作からヘドバンを行おうとしていることを推定することに焦点を当て，研究を行いました．具体的には，ヘドバン時のセンサデータに関するデータセットを構築し，そのデータセットを用いて機械学習による推定を行いました．

ヘドバンセンサデータ構築では，楽曲を聴いてもらいながらヘドバンを行ってもらい，そのときのセンサデータを収集しました．収集されたセンサデータの例を下図に示します．背景が灰色の部分がヘドバン区間となっているのですが，ヘドバンの特徴をセンサデータとして取得できていることがわかります．

このデータを用いて，ヘドバンの推定を行いました．推定においてはヘドバンをしていると感じられる時を考え，ヘドバン中の頭を振り下げ始める位置と振上げ始める位置の推定としました．なお，共有システムでの利用を目指しているため，リアルタイム推定をする必要があります．そこで，下図のような形で予備動作を用いて少し先の時間の予測を行うようにしました．その結果，最大93.5%の精度（特徴量区間300ms，インターバル100ms）で推定を行うことができました．

今後は共有方法の検討とヘドバンの特性解明を行っていきたいと考えています．

詳細に関しては論文やスライドをご覧ください．

論文とスライド

二宮 洸太, 中村 聡史. 配信ライブの同時視聴におけるヘッドバンギング同期のための動作推定手法, 情報処理学会 研究報告音楽情報科学（MUS）, Vol.2021-MUS-130, No.33, pp.1-8, 2021.

感想

今回は前回のDEIM2020から1年ぶりの発表でした．研究テーマを新たにして，発表までたどり着くことができてよかったです．

ご指導いただいた先生や先輩方，一緒に頑張ってきた同輩や後輩に感謝の辞をここで述べさせてもらいます．ありがとうございました．

来年度からは大学院でこの研究を続けていこうと思っていますので，応援のほどをお願いします．