第2回コミック工学研究会で「漫画における台詞発話者の自動判定に向けた技術的困難性による整理とデータセット構築手法の検討」というタイトルで発表してきました（阿部和樹）

中村研究室M2の阿部和樹です。

10月25日〜26日に公立はこだて未来大学で開催された第2回コミック工学研究会にて、「漫画における台詞発話者の自動判定に向けた技術的困難性による整理とデータセット構築手法の検討」というタイトルで研究発表をしましたので、その報告をさせていただきます。

研究概要

今回の研究は、機械（コンピュータ）による漫画の認識・自動解析を実現するための技術の1つとして、「漫画における台詞の発話者となるキャラクタを自動で判定する」というものになります。研究の最終目標は機械による台詞発話者の自動判定となるのですが、今回の発表内容はその準備段階として、判定における技術的な課題の整理と、自動判定で使用するデータセットを構築するためのアノテーション付与システムの提案・実装になります。

電子コミックの普及に伴い、漫画を機械に認識させることによって様々なサービスに利用する試みが登場しつつあります。例えば Mantra：マンガの超高精度な自動翻訳 というサービスでは、漫画内のテキストを外国語に翻訳して再配置することで、外国人が母国語で違和感なく漫画を読むことができます。このようなサービスの実現には、漫画を機械にとって認識可能な形に変換する技術（先程のMantraでいえば、漫画内のテキストを抽出する技術など）が不可欠であり、これにはいまだ多くの課題が存在します。

本研究ではこのような漫画を自動で解析するための課題の1つとして、漫画に登場する台詞とその発話者であるキャラクタの対応付けを自動で行うという課題に取り組みました。既存の研究では、漫画の台詞に対する研究やキャラクタに対する研究がそれぞれ独立して存在しており、これらの研究成果を結びつけるためには、台詞とキャラクタがどういう関係にあるかの情報が必要となります。今回の研究では台詞とキャラクタを「発話者」という関係で対応付けを行い、それを自動で判定することを目指しています。今回発表した内容はその自動判定に向けた前段階として、

• ①機械による判定の難しさは漫画のどんな要素が影響するのか？
• ②自動判定に利用する大規模なデータをどう収集するのか？

の2つを扱いました。

①の判定の難しさに影響する要素について、下の表がその要素をまとめたものになります。要素の分類として、吹き出しの形状・台詞とキャラクタの位置関係・台詞の表現とキャラクタの特性の3つを用意し、それぞれに分類される要素がどんな条件であれば判定が容易（Easy）あるいは困難（Hard）であるかを定義しました。これらの分類や表で挙げている要素については今後も議論によってアップデートしていく予定ですが、この先の機械による自動判定ではこれらの要素を土台として利用していきます。また論文中とスライドでは、表で挙げた要素について実際の漫画画像を例に事例を載せていますので、興味がありましたらぜひご覧になって下さい！

発話者の自動判定に影響する要素の一覧

また②のデータ収集については、漫画の台詞とその発話者の正解データを効率的に収集できるシステムの提案と実装を行いました。下にシステムを利用している様子を載せています。操作は単純で、台詞をドラッグ＆ドロップで発話者となるキャラクタに運ぶというものです。これは、漫画における配置について、台詞と発話者が近い距離にいることが多いという特性を利用したものであり、データの作成者はスムーズで直感的な操作によって正解データを生成することができます。また、もととなる漫画のデータはManga109のデータを活用しています。

©赤松健「ラブひな」
提案システムの様子

以上のように、今回の発表では機械による台詞発話者の自動判定に向けた準備について議論を行いました。今後はいよいよ研究の目的である自動判定に取り掛かかる予定です。まずは、上で提案したシステムを利用して台詞と発話者のデータセットを構築します。その後、今回の議論で挙げた要素をもとに機械による自動判定のタスクに挑み、高精度に台詞の発話者を判定できる仕組みを構築することを目指します。

発表スライド

発表に使用したスライドがこちらになります。

論文情報

阿部 和樹, 中村 聡史. 漫画における台詞発話者の自動判定に向けた技術的困難性による整理とデータセット構築手法の検討, 第2回コミック工学研究会発表会, pp.7-14, 2019.

感想

会場がはこだて未来大学ということで、（地元は札幌なので全然遠いですが）故郷である北海道での発表でした。実は去年の12月にもEC研究会で函館に来たり、3年前にもゼミで公立はこだて未来大学に出張するなど、意外と函館に行く機会は多かったりします笑

コミック工学は研究者の他にも、実際の漫画家さんや出版社の方が多く聴講されているため、その前で漫画について発表するのはとても緊張しました（汗。しかし、発表後やその後の懇親会で専門家の方々から頂いた意見は、研究者と話すだけでは得られない貴重な話が多く、自分の研究の大きな参考になりました。発表をお聞きいただき、その上で様々な意見を寄せていただいた学会参加者の皆様に改めて感謝いたします。また、サポートのために同伴してくれたB3の二宮くん・B4の松山くんもありがとうございました！

金森赤レンガ倉庫で食べた「メルチーズ」
お土産として売ってるので函館に行った際はぜひ買ってみてください