はじめに
こんにちは、中村研B4の櫻井翼です。
2022/08/21にカナダのモントリオールで開催されたMANPU2022にて発表しましたので、その報告をさせていただきます。
今回発表した内容はこちらの研究と去年の11月に発表した内容を再整理して、英語化したものですので、詳細はそちらをご覧ください。
研究概要
現在、漫画の自動翻訳やストーリーに基づいた検索・推薦など、漫画における様々なサービスや研究が発展しています。
こうした研究を支えるための技術として、「誰がどのセリフを話しているのか」といった情報が必要となることがあり、こちらの研究では漫画のセリフとその話者となるキャラクタを紐づけたデータセットを構築しました。このデータセットはManga109を拡張したもので、セリフと話者の対応データは約75万件を56名の人手によって行いました。
データセットにご興味のある方は、発話者データセット配布サイトをご覧ください！
実際に対応付けをしている様子はこのような感じです。セリフをキャラクタへドラッグ&ドロップすることで登録できます。
また、構築したデータセットを用いて、人による評価だと話者(そのセリフを話した人)の判断が難しいシーンについて分析を行いました。
結果として、話者の判断が難しいセリフは
- コマ内に発話したキャラクタがいない
- １つのコマに複数のキャラクタが存在する
- 吹き出しのしっぽがない
- 吹き出しのしっぽが発話者の方を向いていない
- セリフが吹き出しになっていない
といった特徴が挙げられました。また、戦闘シーンや、暗闇で描画がはっきりとされていないといった、状況把握が難しいシーンでは内言や身体状態を示す表現が多様され、判断を難しくしていたことが考えられました。
その他にも、セリフを評価するのに適した人数について考察を行ったり、実際に判断が難しかったシーンを紹介などもしておりますので、詳細については論文やスライドをご参照ください。
スライド
論文情報
感想
今回の発表は、自分にとって（対面では）初めての発表かつ、それが国際学会ということで不安要素満載でしたが、フランス人の座長さんはとても優しく、比較的リラックスして発表できたのではないかと思います。
それはそうと、学会会場のあったカナダ・モントリオールは、旧市街の風景がとても美しく、ご飯も美味しかったのでそれらの写真をのせておきます。
モントリオールの旧市街
モントリオール・ノートルダム大聖堂
プーティン：フライドポテトにグレイビーソースと粒状のチーズをのせたカナダ料理
スモークミート
最後になりますが、論文執筆や発表準備の際にご教授いただいた中村先生と協力してくださった中村研の方々、今回の出張でお世話になった小松先生と小松研の方々に心より感謝いたします。