はじめに
こんにちは。中村研究室M1の櫻井翼です。
2023年12月11日〜13日に北九州で開催されたHCGシンポジウム2023にて「漫画の振り返りを支援するクイズとその答えからのシーン推定」というタイトルで発表してきましたので、報告させていただきます。
この研究はCC9で発表した内容の続きとなりますので、よろしければそちらも合わせてご覧ください。
研究内容
日常的に漫画を読む方は、複数の作品を同時に読んでいたり次巻を読むまでに期間が空いたりすると、物語やキャラクタについて忘れてしまうことはありませんか？
自分はめちゃくちゃ忘れてしまうので、既読巻を何度も読み直しながら連載を追っています。特にキャラクタは全然覚えられませんね…
キャラクタについて記憶テストを実施したこれまでの研究では、正確に覚えていたキャラクタはその巻の読了直後で47.1%、3日後には32.9%まで減少する結果を示しています。また、物語との関連性がキャラクタを覚えるうえで重要だという傾向がみられました。
ここで、漫画を手軽に振り返る方法のひとつにクイズがあります。例えば、コミクエでは既読巻に関するクイズに回答することで内容を振り返ることができます。しかし、クイズに不正解だったときに該当箇所を振り返りたい思っても、その巻やページを探すのはなかなか難しいです。そのため支援としては、該当シーンを提示するといったことが、読み返しにとって望ましいと考えられます。
この研究では、クイズ形式で振り返りができるコミクエを用いて、漫画に関するクイズとその答えから、漫画的特徴を考慮しつつ該当シーンを推定し、読み返しの支援手法に向けての基礎検討を行いました。
漫画内要素を用いたシーン推定
推定手法としては、クイズの文章（問題文＋答え）と漫画内から得られるテキスト情報をもとに単語のTFIDF値を求め、そのTFIDFの値をもとにしたコサイン類似度を計算することで、文章間の類似度を導出しました。
推定手法のイメージ
推定対象とするクイズは、スポーツに関する8作品に対して協力者5名によって作成した合計120問のクイズデータを用いました。また、漫画内から得られるテキスト情報としては、以下の要素を用いました。
・漫画内のセリフ情報
・各コマに対して画像キャプション生成をしたテキスト情報
・キャラクタ名の情報（ページ単位での各キャラクタの登場・単体描画の有無）
推定結果としては、クイズ文章に対してクイズ作成元のページを一意に推定できた精度は52.5%、推定対象のページが第3候補以内に含まれると許容した場合の精度は80.0%でした。
推定としては登録された1ページではなく、区間を持った場面として抽出することが答えの特定に繋がることを考えると80.0%という精度は悪くないですが、セリフのないページが答えとなるクイズなどでは精度が低いことがみられました。
今後は、推定に用いる要素・手法の見直しによって、まずは精度の向上を図ります。また、クイズの問題文のみからの推定といった条件を厳しくした場合での推定にも取り組む予定です。
詳細については論文や以下のスライドをご参照ください。具体的なクイズ事例を混じえた考察も行っております。
発表スライド
論文情報
最後に
今回のHCGシンポジウムでは、口頭発表に加えてポスターセッションでの発表がありました。学会でのポスター発表は初めてだったのですが、とても参考になる意見や口頭発表を聞いてくださった方の感想もいただけたので、研究へのモチベーションがとても高まりました。
また開催場所が北九州（小倉）だったので、小倉周辺の有名なものを色々知れて良かったです。特に、門司港のレトロな街並みや名物の焼きカレーがとても素敵でした。
門司港駅前
焼きカレー
最後になりますが、サポートをしてくださった中村先生、発表練習に何度も付き合っていただいた研究室の方々に心より感謝いたします。
以上。
ピンバック: 中村研究室 2023年度の成果 | 中村聡史研究室