第71回エンタテインメントコンピューティング研究発表会で「一視点固定型ライブ映像への映像表現自動付与による臨場感向上手法の検討」というタイトルで発表してきました（小川剣二郎）
はじめに
こんにちは、中村研究室B4の小川剣二郎です。
2024年3月17日〜19日京都学・歴彩館で開催されたEC（エンタテインメントコンピューティング）研究会にて、「一視点固定型ライブ映像への映像表現自動付与による臨場感向上手法の検討」というタイトルで発表してきましたので、報告させていただきます。
研究概要
背景
アーティストや軽音楽団体は定期的にライブを行なっており、大衆に魅力を伝えられる機会となっています。このライブなのですが、「対面ライブ」と「オンラインライブ」があり、このうちオンラインライブは、日程的に都合が合わなかったり、対面ライブに足を運ぶのに抵抗を感じている人にもライブを届けることができます。また軽音楽団体においては、新しい入会者の招集や団体の活性化など周知の役割を持っています。
ここで軽音楽団体のライブ映像配信では、主にSNSを用いるのですが、この際多くの視聴者を止まらせておくことは難しいです。これは、スマートフォンでの視聴時に画面が小さいために臨場感が低くなってしまうこと、また撮影・配信のための機材が揃っていないことから一視点から映像を配信することから映像が単調となってしまうことが要因として考えられます。これではライブの良さが伝わらず、評価も上がりません。
目的
そこで本研究の大目的は、オンライン配信ライブを映像処理のみで臨場感を向上させより多くのユーザに視聴してもらうことです。
ここで臨場感を向上させる例として音楽に関する漫画やアニメでの表現があります。これらでは実際に現実でその楽器を演奏しているわけではないため効果線や画面分割などといった表現を用い臨場感を表現しています。これらの音楽表現は、演奏の臨場感を伝えると言う点において軽音楽におけるライブ映像に対しても適用が可能ではないかと考えました。
そこで本研究の目的は、ライブ映像に自動で映像表現を付与する手法を模索しそれが印象にどう影響するのかを調査することです。
提案手法
映像表現としては、ズーム、画面分割、集中線を採用しました（図１）。これらの映像表現を、映像データや音声データから、特徴的なシーンを検出し自動で付与します。ライブ映像に付与したイメージは図２のようになります。
図１
図２
実験では画面を上下にスワイプすることで次々とライブ映像を見てもらい、視聴時間、いいね数、アンケートの比較により提案手法によるライブ映像への印象を調査しました。
実験・結果
本実験では、ライブ映像20本に加えて、提案手法による映像表現の適用対象であるライブ映像を6本を加えた26本をランダムに視聴してもらいました。
ここでの適用条件としては、映像表現なしのNone、ズームのみのZoom、全ての映像表現を組み合わせたMixの３条件を用意しました。
また実験後アンケートとして、映像表現の有無による印象について答えてもらいました。
実験には24人（男性17人、女性7人）に参加してもらい、条件が均等になるように割り振りました。
視聴時間の結果は図３のようになり、映像表現が増えるにつれて視聴時間も増えています。平均値、標準偏差も同じく、映像表現が増えるごとに増加していました。また分散分析、多重比較を行った結果、None条件-Zoom条件、None条件-Mix条件で有意差が認められました。
図３
また、いいね数は図４のようになり、適用する映像表現が増えるごとにいいね数が増加しました。またいいねされている動画とされていない動画を比較したとき、いいねされている動画の方が平均視聴時間は長く、有意差も認められました。
図４
アンケートでは、”一人一人を大きく映すことで迫力が出た”、”フォーカスしている映像が見ていて迫力を感じた”など、良い印象の意見を得られましたが、反面”過剰な編集は飛ばしたくなった”、”編集を使いすぎて見にくいと感じた”など悪い印象の意見もありました。
これらの結果から、提案手法は視聴維持率、印象の向上に有効であることが考えられます。しかし、映像表現が過剰であるなどの悪い印象の意見も得られたため、どの程度適用するかを調査する必要があるため今後調査する予定です。
実運用していく上では、今回は演者が3人であり立ち位置が入れ替わらない場合のみに絞っていたため、多くの場合に対応できるようにシステムを改良する必要があります。
また、映像の処理に元の映像の倍以上の時間がかかってしまっていたため、リアルタイムで配信するために大幅に短縮する必要はあります。
発表スライド
論文情報
感想
２回目の学会発表だったのですが、適度な緊張で前回よりも上手く発表できてよかったです！さまざまな方から意見をいただけたので、今後の研究に生かしたいと思います。
学会以外の時間では、金閣寺に行ったり和菓子作り体験をしたりと、京都を満喫できました！一緒に行ってくれた方々に感謝です！
最後にはなりますが、度々発表練習や実験に付き合ってくださった研究室の皆様、何度も相談や助言をくださった中村先生に心より感謝申し上げます。