DEIM2022で「聴衆の知覚音量バランス推定と可視化によるドラム練習支援手法」というタイトルで発表してきました＆学生プレゼンテーション賞を受賞しました（細谷美月）
2023/01/05
はじめに
こんにちは。あっというまに卒業の季節となってしまいました。細谷美月です。
2/27-3/2にDEIM2022（第14回データ工学と情報マネジメントに関するフォーラム）がオンライン開催されましたので、その発表の報告をさせていただきます。
今回は、M2細谷美月が「聴衆の知覚音量バランス推定と可視化によるドラム練習支援手法」というタイトルで発表させていただきました。
研究概要
本研究は、ドラムの上達において重要な技術の１つである、基本リズムにおけるHI（ハイハット）・SD（スネアドラム）・BD（バスドラム）の３楽器の音量バランスを個人で練習する際の支援に着目しています。
ドラム演奏を改善する上で、”自分の演奏が聴衆にどのように聴こえているか”を意識した練習が重要ですが、ドラムを挟んでドラマーと聴取は反対側にいるため演奏の聴こえ方が異なるため、ドラマーは自身の音量バランスを評価しづらいという問題があります。また、既存の練習方法として自身の演奏を録音し確認する方法がありますが、この方法は時間や手間がかかってしまいます。
そこで、ドラマー個人での音量バランスをより容易で効率的にすることを目的とし、
これまでの研究において、１本のマイクで入力したドラム演奏から聴衆が知覚する音量バランスをリアルタイム推定し、可視化してドラマーへフィードバックするシステムを提案してきました。
また、プロトタイムシステムを実装し、フィードバックを目的とした評価実験を行い、
以下のような改善点についても明らかにしてきました。
・音量バランス推定手法の推定精度が不十分
・推定結果の可視化方法（表示形式や更新頻度）がわかりづらい
そこで本研究では、システムについて以下のような改善を行いました。
①聴衆の知覚を加味した音量バランス推定手法の提案
②推定結果の可視化方法（表示形式や更新頻度）の改善
①聴衆の知覚を加味した音量バランス推定手法については、ドラム演奏の各楽器の音源から得られる4種類の特徴量から、音量評価値（聴衆が知覚する音量）を推定可能とする回帰式 を3楽器分あわせて推定手法と定義しました。
これを実現するため、様々なリズムや音量の組み合わせで作成した２５６パターンのドラム演奏音源について、１２人に音量バランス評価をしてもらうといった方法で聴衆の知覚音量バランスの正解データセット構築を行いました。この正解データと各楽器の音源から得られる音声特徴量を用いた重回帰分析によって、各楽器について聴衆の知覚する音量を推定可能とする回帰式を算出し、システムへの実装を行いました。
②推定結果の可視化方法については、自身の演奏の音量バランスがよりわかりやすくなることをねらいとした、
結果更新頻度が低いシステム（録音・推定・可視化と段階が分かれているためいつの結果かわかりやすい）と結果更新頻度が高いシステム（演奏の変化がわかりやすい）の２種類を実装しました。
このような改善を行ったシステムを用いて、システム評価実験を行った結果、
以下のようなことが明らかになりました。
- 聴衆の知覚する音量バランスを確認しながらの演奏によって音量バランス練習を支援可能
- 人や状況によって結果の更新頻度を切り替えることでさらに支援可能
- 音量バランス推定精度を高めるため、音源分離の精度の改善が必要
展望としては、音量バランス推定手法の精度向上や幅広い演奏への対応を行う、練習したい内容によって音量バランス推定の可視化方法を切り替える機能を追加するなどによってより容易で効率的な音量バランス練習を支援可能なシステムを実現できると考えています。
スライド
論文情報
細谷 美月, 中村 聡史, 森勢 将雅, 吉井 和佳. 聴衆の知覚音量バランス推定と可視化によるドラム練習支援手法, 第14回データ工学と情報マネジメントに関するフォーラム, 2022.
感想
今回が最後の学会発表ということで、発表が終わった後しみじみした気持ちになりました。また、学生プレゼンテーション賞をいただくことができました。中村研でのたくさんの発表練習のおかげで、話し方や見せ方などプレゼンにおける伝え方のコツを学ぶことができたと実感しています。社会へ羽ばたいてからもこの学びを生かしていきたいです。
私がこれまで研究を頑張ってこれたのは、学会（遠方開催の…！）の存在が大きかったため、コロナの影響でDEIMがオンライン開催になってしまったのは残念でしたが、これまでを振り返ると、中村研に配属された学部３年からの４年間でさまざまな学会に参加し、さまざまな場所に行かせていただきました。
研究面でも思い出の面でも、なかなかできない経験をたくさん積むことができ、中村研に入ってよかったなと思います。
最後になりますが、本研究を進めるにあたってアドバイスいただいた森勢先生と京都大学の吉井先生、実験協力してくださった方々、研究全体をサポートしてくださった中村先生をはじめとした中村研の皆様に感謝申し上げます。ありがとうございました。