CollabTech2018で「Can Social Comments Contribute to Estimate Impression of Music Video Clips?」というタイトルで発表してきました！（土屋駿貴）
2023/01/05
[はじめに]
Hello everyone! How was your summer vacation?
はい、ということで改めましてポルトガルに魅せられて帰国した
中村研究室M2の土屋駿貴です。
今回、2018年9月5~7日にポルトガルのCosta de Caparicaで開催された「CollabTech2018」にM2白鳥、B4佐々木と参加し、研究発表してきましたのでその報告をさせていただきます。
[発表内容]
今回発表してきた研究は、学部3年生の頃にメインで行なっていたもので、YouTubeやニコニコ動画などの動画サイトでみられる「音楽動画」を見た際に受ける印象を、ニコニコ動画やビリビリ動画といったソーシャルコメントから推定するといったものになっています。以前の研究発表の記事はこちらからごらんください。（DEIM2016、SIGGN96）
この研究の貢献として、コメントを用いた音楽動画の印象推定に取り組んだこと以外に、中村研究室で行われている音楽動画関連の研究として初の海外発表ということで、これまでに作成し用いてきた印象評価データセットの構築したことも発表してきました。
具体的な実験方法ですが、人手で構築された印象評価データセットのある一定以上の印象評価値を持つ音楽動画を、どれだけうまく分類できるかをコメントから生成した動画に対する文書ベクトルを用いてSVMで検証を行うというものになっています。またその際、品詞を使い分けることで文書ベクトルを生成し実験を行いました。
詳しい内容や結果に関しましては、論文と発表スライドを載せておきますのでご覧いただければ幸いです。
この研究でわかったことを簡単にまとめますと
- 品詞を組み合わせて文書ベクトルを作成することで推定精度が向上する
- 特に形容詞+他の品詞を組み合わせると精度が高い
- 手法を使い分けることで印象ごとに推定精度に差が出る
- C1（堂々）、C6（かわいい）、Arousalといった印象は精度が高い
- C3（切ない）、C5（滑稽）といった印象はどの手法を用いてもあまり精度が良くな
- コメントからの印象推定は音楽のみに対してよりも映像のみに対してのほうが有効である
となります。音楽動画の印象推定については検索のみならず、各種のサービスの実現においてニーズがあるため、APIなどを実現していきたいと考えています。
論文とスライドは下記になりますので、ご興味のあるかたはどうぞ。
[論文]
[発表スライド]
[感想]
初の海外発表でしたが、英語が非常に苦手で論文執筆に発表練習にとても大変でした…笑
ただ発表が始まると、練習の甲斐あって落ち着いてできたのではないかと思います。
でも質疑はうまく答えられなかったので、リスニング&スピーキング鍛えたいと思います…
また今回の発表はポルトガル！！自分としては初のヨーロッパで、行く前からワクワクしていました！！
行ってみた感想ですが、料理最高、街並み綺麗、温和な人柄、とポルトガルは最高でした！！（感化されやすい）
全体としてとても良い経験ができました。今後も研究活動に励んで行きたいと思います！
