第6回コミック工学研究会にて「漫画のセリフと発話者対応付けデータセットの構築とその分析 」というタイトルで発表してきました（櫻井翼）
2022/09/26
はじめに
はじめまして、中村研B3の櫻井翼です。
2021年11月21日にオンラインで開催された第6回コミック工学研究会において「漫画のセリフと発話者対応付けデータセットの構築とその分析」というタイトルで発表をしましたので、その報告をさせていただきます。
研究概要
現在、漫画に関する研究やサービスの開発は多岐に渡って行われており、自動翻訳や内容に基づいた検索・推薦、ネタバレ防止などのように様々なものが挙げられます。そうした研究や開発を支えるために必要な技術の1つとして、機械（コンピュータ）を利用して「漫画におけるセリフの発話者となるキャラクタは誰なのか」といったことを自動推定可能としていくといった課題があります。しかし、漫画における発話者（セリフを発した人物）というのは、人による読み手であってもその漫画に対する理解度や読書経験なども影響し異なった解釈で読み進められることがあります。
そこで、今回の研究ではセリフの発話者となるキャラクタを人によって評価付けを行い、それらによって得られたデータセットの分析を行いました。また、これらの結果から発話者の推定が困難な場面や発話者の正解データを得るのに必要な評価人数についての検討を行いました。
人による評価のデータセットの構築には、先輩の研究で実装した、以下の動画のようにマウスのドラッグ&ドロップでセリフと発話者の対応付けを行うシステムを用いました。対象とする漫画にはManga109のデータ（109冊分全てのセリフ）を利用しています。
データセットの分析は、以下の3点に着目して実施しました。
- 評価者間での評価の一致率
- 評価の完全一致率の推移（評価人数の検討）
- 評価にブレが生じている場面の抽出
まず、1つ目の評価の一致率に関する分析としては以下のようになりました。左は各セリフにおける評価の一致度合いを評価対象ごとで分類したもので、右が各評価者の評価したセリフ件数です。
これらの結果から、各セリフにおいてキャラクタに対しての全員の評価が一致している割合は71.1%であり、これは今回対象とした漫画のセリフ数を考慮すると、見開き2ページあたり平均約4件のセリフでは異なる理解や解釈を行う人がいることとなります。ただ、評価件数は右のグラフのように評価者によって大きく異なり、評価件数が少ない評価者が原因で一致率が低下している可能性は考えられます。
次に、2つ目の評価の完全一致率の推移としては以下のようになりました。このグラフでは評価人数が4, 5, 6名であったセリフを対象に、それらの評価人数を1名ずつ増加させた際の完全一致率（全員の評価が一致していた割合）を表しています。
この結果では、評価人数を増やすにつれて完全一致率は徐々に下がっていき、評価者が2名の場合は約90%であった完全一致率は、評価者5名に増えると10％程度下がった約80%となっています。これより、各セリフにおける発話者の正解データを人によって構築する場合、その評価人数は2名前後では不十分であり、誤ったキャラクタが正解データとして登録されてしまうといった可能性が考えられます。
次に、3つ目の評価の一致率が低下する要因およびその具体的な場面を調べるため、新たな指標値（評価一致度指標値）をManga109データセット（109冊の漫画データ）の全てのセリフに対して求めることにより評価にブレが生じている場面の抽出を行いました。評価一致度指標値では以下の2項目の調和平均を求めており、この指標値が低いほど評価にブレが生じていることとなります。
- 各セリフに対する評価がいくつの意見に分かれているのか
- 各セリフに対する評価は最大でどの程度一致していたか
以下のグラフは、導出した評価一致度指標値のうちいくつかの作品をピックアップし、各ページにおける評価一致度指標の値の平均を算出したものとなっています。
この結果より、ぺージによって評価一致度指標の値は大きく異なっており、左のグラフで表す作品では終盤に近づくにつれて評価一致度指標値が低くなる場面が多くなっていることがわかる。また、右のグラフでは序盤から全体的に評価一致度指標値が低くなる場面が存在していることが考えられます。
また、評価一致度指標値が0.7を下回っているページに着目し、その部分について実際の場面を抽出し指標値との比較を行いました。その結果、バトルシーンや暗闇のシーン、複数人が乗り込む宇宙船での会話などといった状況把握の難しいコマでは評価にブレが生じていることが明らかになりました。また、このような場面では内言（心の中で考えていること）や身体状態を表す表現が多く見られ、こうしたセリフは「セリフの吹き出しがない、吹き出しのしっぽがない」といった描画方法に関する特徴も見られました。
実際の場面の紹介などもしておりますので、詳細については論文やスライドをご参照ください。
発表スライド
論文情報
櫻井 翼, 伊藤 理紗, 阿部 和樹, 中村 聡史. 漫画のセリフと発話者対応付けデータセットの構築とその分析, 第6回 コミック工学研究会, pp.11-17, 2021.
感想
研究会の前日である11月20日には、コミック工学シンポジウムにも参加しました。こちらでは、漫画家さんの漫画制作における思いや考え方、技術分野に対する意見といった様々なお話をお聞きすることができました。漫画家さんのお話を直接聞けるという経験は初めてで、読者側としては驚かされるような内容も多くあったためとても貴重な経験になりました！
また、今回はオンラインでの学会発表であったためあまり緊張せずに発表できた（と思う）のですが、対面での開催地の雰囲気を味わったり、おいしいご飯を食べたり、おいしいご飯を食べたりしたい（大事なことなので...）という気持ちが強くあるので、次に参加する機会があれば現地へ行きたいと思いました。
最後になりますが、発表練習や論文執筆の際にご指導いただきました中村先生や、様々な協力をしてくださった研究室の皆さんに心より感謝いたします。