こんにちは！中村研究室M2の小川剣二郎です！
2026年2月28日〜3月2日に愛知県名古屋工業大学で開催された第145回MUS(音楽情報科学)研究会にて，「OneCamLiveFX：一視点固定型ライブ映像配信のための 映像効果付与システムとその運用」というタイトルで発表してきましたので，その報告させていただきます．
研究概要
背景
軽音楽団体でのオンラインライブでは一視点から配信することが多く，このような配信では映像の変化の無さや画角の制約から臨場感が伝わりづらいです．これまでの研究では，特徴的なシーンを検出し自動で映像効果を付与する手法の模索や，詳細な主観評価実験，音響効果との組み合わせによる影響の調査を行ってきました．
ここで，ライブの予測不能性や即時性，他者との体験の共有の観点から，リアルタイムであることの重要性が多くの研究で示されており，これまでの研究結果を踏まえて，実際の軽音楽団体でのライブへ活用可能であるかを調査する必要があります．
本研究では，リアルタイムでライブ映像配信へ映像効果を自動付与可能なシステムを実装し，その性能評価と現場実証を行います．
OneCamLiveFX
リアルタイムで運用可能なシステムを実装するにあたり，まずは必要要件を整理しました．ここでは，配信・視聴がスマートフォンのみでできること，対面ライブ参加者は最小限の操作で済むこと，数10秒の遅延は許容することを挙げています．
これらの要件を踏まえて，一視点から撮影されたライブ映像に対して，演者の認識と動作量推定，および発音タイミング検出をし，その結果から映像効果をリアルタイムに付与して配信する手法「OneCamLiveFX」を提案しました．システムの全体図は以下のようになっています．
ここでは撮影を開始すると，バックエンドで特徴的なシーンを抽出および映像効果付与し，配信者と視聴者はそれぞれのブラウザでその配信を視聴することができます．
映像効果の種類については，視覚における心理的側面から，ズーム，ビネット，画面分割を採用しました．これらの映像効果はそれぞれ，ズームは 1 人の演者にフォーカスを当てることによる画面切り替え，ビネットは集中効果による映像への引き込み，画面分割は複数の演者にフォーカスを当てることによるバンドの一体感や個々の演奏を伝える効果をもっています．
現場での実証実験
本システムが軽音楽団体でのオンラインライブで運用可能であるかを調査するために，実際のライブで実証実験を行いました．当日は3バンド分のライブを配信し，14人が実験参加者として視聴しました．実験では，ログとして処理時間，FPS・フレームドロップ数，Buffering eventsを記録しました．またアンケートでは臨場感の構成要素である没入感，社会的存在感，演者への興味度(視聴者)に加え，満足度および継続利用可能性(視聴者・演者)を評価しました．
実験の結果，映像効果の有無に関わらず処理時間の平均値・中央値が10秒以内であり，リアルタイムで運用可能であることを明らかにしました．しかし，人物検出や映像効果付与により一部遅延の増加や追従性の低下が発生しており，演者数などの環境条件により追従性が変わる可能性が示唆されました．アンケートでは，没入感・社会的存在感・演者への興味度の全ての指標において視聴者から 高い値を得られました．このことから本手法はオンラインライブの臨場感向上に効果的にアプローチできていると考えられます．満足度および継続利用可能性については，視聴者からはどちらも中程度であったものの，演者からは高い評価が得られ，満足度・継続利用間に強い正の相関が見られました．このことから演者にとって「自分（または演者）が強調される」ことの価値が大きいことが示唆されました．一方視聴者から「自分でズーム対象を決めるなどの操作をしたい」「演奏に関係ない部分にズームされていた」といった意見が得られたため，今後インタラクティブな設計や精度改善をすることでより臨場感・満足度の高いシステムへ改善できると考えられます．
発表スライド
論文情報
感想
大学・大学院生活最後の学会発表でした．無事最後までやりきれて安心してます非常に．最後に自分らしい旅ができたんじゃないかと思います．元々一人旅の予定だったのですが，2個下の金谷一輝くんが一緒に来てくれたので二人旅となりました．感謝です．
3日間名古屋に滞在し，1日目は観光をし，2日目から学会に参加，3日目に発表をしてきました．学会では，とにかくやり切ったという言葉が一番合うかなといった感じです．良くも悪くもいつも通りにできてよかったです．
観光では，きまぐれクックの金子が運営している魚屋＋食事処に行きました．が，食事処は時間的に厳しく，魚屋でマグロやらエベフライやら蟹汁やらを買って食べました．意外とマグロよりも，エビフライのプリップリさ(というかブリッブリって感じ)とか蟹汁の美味さに驚きましたね．その後は海に行ったり，味噌カツを食べたり，手羽先を食べたり，ひつまぶしを食べたりとなかなか満喫できたと思います．個人的には最後の日に行った喫茶店がコーヒーも美味しく雰囲気も良くでとても満足感があったのでぜひお勧めしたいです，「カラス」って店でした．
最後の学会を終えて，あとは卒業するだけとなりました．就職前の最後の1ヶ月，楽しみ尽くしたいと思います．
今回の論文執筆，学会発表を助けてくださった方々(特に中村先生と渡邉健斗くん)，感謝感激です．ありがとうございました．
小川剣二郎