第59回EC研究会で「ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化システムの提案」というタイトルで発表してきました（細谷美月）

はじめに

こんにちは。毎日こたつに埋まって過ごしています。細谷美月です。
3/16-17に第130回MUS・第59回EC合同研究発表会がオンライン開催されましたので、その発表の報告をさせていただきます。

今回は、M1細谷美月が「ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化システムの提案」というタイトルで発表させていただきました。

研究概要

ドラムは複数の楽器で構成されており、その中でも特に使用頻度が高く演奏の中心となる３楽器、HI（ハイハット）・SD（スネアドラム）・BD（バスドラム）を”３点”と呼びます。

ドラム演奏の上達には、この３点の楽器を理想的な音量バランスで演奏することが重要であり、一般的に、BD＞SD＞HI　の音量で演奏すると、まとまりのある良いドラム演奏になると言われています。

この音量バランスの習得において、ドラムスクールに通うなど人に指導してもらう機会がある人は、客観的に演奏を聴いてもらい音量バランスについてのアドバイスをもらうことができますが、自力で練習する場合、客観的に自分の演奏を聴くことができず、自分のドラム演奏の音量バランスがわからないといった問題が生じます。

 

そこで、本研究ではドラム演奏者が自力で理想的な音量バランスを、容易かつ効率的に習得する仕組みを実現することを目的とし、１本のマイクから認識したドラム演奏をBD・SD・HIに音源分離し、分離音源から各楽器の音量を推定し、音量バランスをリアルタイムに可視化してフィードバックするシステムを提案します。

 

提案システムの使用環境・画面イメージの図を以下に示します。

図のように、ドラム正面から離れた位置にマイク１本を設置し、PCからシステムを起動し、目標の音量バランス・演奏するテンポ（速さ）を設定して演奏を開始すると、システムがリアルタイムに音量バランスを推定・可視化します。

このシステムを使用し、目標に設定した音量バランスに可視化を近づけていくように演奏することによって、ドラム演奏者は目標の音量バランスを習得することができます。

 

音量バランスの推定については、

1. マイクから入力したドラム演奏を、HI・SD・BDへ音源分離
   
2. 分離した各楽器の叩打音（こうだおん）それぞれについて、ピーク（最大振幅）の前後125ms分のRMS値（人の聴こえ方を考慮した音量値）を求め、その平均を音量として算出
3. そのRMS値の平均に補正値をかけあわせることによって、人が判断する音量バランスと結果が対応するようにチューニング
   
   という手順で行いました。

音源分離については、分離する対象の音声データの基底行列（周波数情報）が、分離前の音源にどれだけ含まれているかを計算することによって分離を行うNMF（非負値行列因子分解）と　その派生系であるSSNMF（半教師ありNMF）を使用し、楽器の種類の違いによる音色差への対応も可能としています。

 

本研究では、実際にこのシステムを使用しながらドラムを演奏してもらい、感想やフィードバックを得る実験を行いました。

結果として、

• システムの満足度・今後システムを使用したいか・設定した音量バランスで演奏できたか　の質問（-2〜2の5段階で評価してもらった）について評価値の平均は全て正の値であった
• システムを使用した感想　への回答において、「演奏が結果に反映されていた」・「客観的に演奏を分析できて良かった」という意見がみられた

これらの結果より、提案手法により音量バランスを習得できる可能性が示唆されました。しかし、システムに対する改善点に関する意見も様々みられたため、今後改善していく必要がみられました。

具体的な改善点としては、

• 可視化方法について：「割合ではなく各楽器の音量を確認したい」
  →折れ線グラフで各楽器の音量変化の経過を確認できる手法など他の可視化方法も検討
  
• 精度について：「精度の高さが不十分である」
  →主観でチューニングを行ったことが原因
  →複数人に、ドラム演奏を聴き音量バランスを判断してもらう実験を行い、
  システムで算出した音量バランスと対応するようなチューニング方法を調査し、システムに適用する

今後は、より容易・効率的な音量バランス習得システムへ向けて、フィードバックを参考に改善していきます。

 

スライド

論文情報

細谷 美月, 中村 聡史, 森勢 将雅, 吉井 和佳. 演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化システムの提案, 情報処理学会 研究報告エンタテインメントコンピューティング（EC）, Vol.2021-EC-59, No.27, pp.1-8, 2021.

感想

オンライン形式の研究会での発表は２回目であり、また授業やゼミもオンラインで慣れているため、気持ち的には余裕を持って発表できました。しかし、離れた土地に行って、美味しいものを食べたり、綺麗な景色を見たりといったことができないのは、やっぱり寂しいなと感じました。

また私事ではございますが、今年度に入ってから研究テーマを一新したため、テーマ設定から研究の方針の相談など、様々な方にお世話になった１年でした。自分のことで精一杯になってしまったので、来年度は研究室の最高学年として周りも見ながら、研究を進めていきたいです。

おわりに、議論やアドバイスなどしてくださった先生方や研究室のメンバー、実験を協力してくださった方々に感謝いたします。
ありがとうございました！