こんにちは，B4の伊藤理紗，横山幸大，梶田美帆です．
2021年3月16日と17日にオンラインにて行われた，第5回コミック工学研究会に参加しました．その報告をここに記します．
発表されていた研究
Session1: 描画支援
試行錯誤的描画を支援する消し跡機能のデザインに関する基礎的検討
山田大誠（北陸先端大），高島健太郎（北陸先端大），西本一志（北陸先端大）
漫画やイラスト制作などをデジタルで制作することのメリットのひとつとして，書き直しが自在にできるということがあります．しかし一方で，修正を際限なく繰り返してしまうというデメリットも内包しています．そこで筆者らは，試行錯誤的描画を補助するものとして作画における消し跡に着目し，紙に描いた線を消しゴムで消した時などに残る消し跡が，作画においてどのように役立っているかについて実験用ソフトウェアを開発し調査しています．その結果，模写において，消し跡は修正の頻度および作画中における前の作業への後戻りの頻度を少なくする可能性が示唆されています．今後は，漫画制作のような創造的描画における消し跡の影響の調査を行い，その知見に基づき試行錯誤的描画を補助する消し跡機能のデザイン・実装を進めていくそうです．
通常，完成状態の作品においては不要とみなされる消し跡について着目したという点が非常に面白かったです．（梶田）
U-GAT-ITを用いた局所的な画像変換に基づく漫画キャラクタの顔の絵柄変換
滝田巧平 (駒澤大)，平井辰典 (駒澤大）
絵柄は漫画において重要な要素であり，それぞれに特徴があります．そのため，読者は絵柄の印象によって漫画を倦厭してしまうことも少なくありません．ここで，絵柄を読者の選好するものに変換することができれば，絵柄の好みを理由に今まで読まなかった漫画を手に取る機会を増やせる可能性があります．
この研究では漫画キャラクタの顔に焦点を当て，キャラクタの目や口などの部位毎の変換を行なった後，ユーザが各部位の位置を輪郭に当てはめられるようなインタフェースを開発しています．絵柄を変換するためのモデルには U-GAT-IT という敵対的生成ネットワークが利用されています．その結果，ターゲットに対して瞳孔や虹彩などの印象的な特徴を持たせるような変換が可能であることが示されていました．今後はほかの部位のデータセットの作成・調査とともに，背景やキャラクタ以外への物の絵柄変換を検討していくとのことです．
よく本や漫画を表紙買いするため，今後絵柄変換によって選択肢が増えると思うとワクワクします．（梶田）
Session2: アプリケーション
ファジイ推論を用いた表情作成
中原実祐子（青山学院大），伊丹琢（青山学院大），米山淳（青山学院大）
コミュニケーションにおいては，相手がどのような感情を抱いているかが重要です．しかし，昨今においては電子メールやSNSなど文章でのコミュニケーションも増えてきており，相手の感情をくみ取ることが難しい場合も少なくありません．この研究は，其々の状況や文章に対するその感情を表す顔文字を作成することを目的としています．
この研究ではまず表情の基本画像について，それらが喜びや怒りなどの基本感情のどれに当てはまるかを調査し，基本感情に対するそれぞれの表情の度合いをメンバーシップとして求めたのち，ファジィ推論モデルを作成しています．また，日常に起こりそうな14のシチュエーションについて，基本画像から基本感情に対するメンバーシップ度を算出した結果，眉や目，口などのパーツの変化により特定の状況における感情を推測できることが示唆されました．今後は新しい感情を含めた場合や文章のみを変えた場合についても検討されていくそうです．
SNSや電子メールでのやり取りにおいて，文章だけだとそっけなく見えてしまうことを危惧しながらも，絵文字の選択に苦労しているため，この研究が非常に有難く感じます．（梶田）
コミックにおける読者依存性の高い地雷表現の基礎調査とその軽減手法
伊藤理紗（明治大），中村聡史（明治大）
コミックを読んでいる際に，苦手な描写が急に出てきて辛い思いをするといった経験がある方は少なくないでしょう．この研究では，読者がそういった苦手な描写を気にすることなくコミックを鑑賞するための手法が提案されています．具体的には，コミックを読みながら手軽に苦手な描写へフラグを付与してもらい，その情報を集約して地雷の位置と存在を前のページで予告するというものです．今回は不快に感じたりいらだちを覚えたりして受け入れることが難しく，出来れば避けたい描写を読者依存の地雷と定義し，その中でも読者が事前に推測できずその箇所を避ければ楽しむことができるものの代表として虫について検討を行っています．実験の結果，フラグを付与する個数や箇所に個人差があること，また，フラグの付与にはパターンがあることなどが明らかにされるとともに，予告により苦手な描写への不安が減少する可能性も示唆されました．
これまで漫画における不意打ちの苦手な描写に悩まされてきたので，非常に共感しました．システムが完成した暁にはぜひ利用したいです．（梶田）
この研究に関しましては著者の伊藤が発表報告記事の中で詳しく述べていますのでそちらもご覧ください．
第5回コミック工学研究会にて「コミックにおける読者依存性の高い地雷表現の基礎調査とその軽減手法」というタイトルで発表してきました（伊藤理紗）
設定に基づくキャラクタの顔画像生成
白石智誠（未来大），迎山和司（未来大）
キャラクタの魅力には、ビジュアルだけではなく，性格な役割など様々な要素が影響しています．また，意思の強いキャラクタは強い目力を持つなど，性格がビジュアルで表現されることも少なくありません．このようにキャラクタデザインにおいてビジュアルと性格等の要素は切り離せない関係にありますが，そういった要素をキャラクタのビジュアルに落とし込むためには，知識と経験が必要です．そこで，年齢・性別・性格の明るさを入力することにより，キャラクタの合成を行うGUIアプリケーションを提案しています．評価実験により，制作者の意図に適したキャラクタビジュアルを短時間で制作可能であることが示されました．一歩でクオリティにパターンに限界があることも示唆されており，今後は複雑な設定や細い線，うすい線，点などへの対応，また機械学習を用いたパーツ生成なども検討していく予定だそうです．
従来のキャラクタ制作の研究に対して，更に作者さんの意図が反映することができるため、非常に意義深い研究だと思いました．（梶田）
Session3: 新しい切り口
既存のWebリソースを用いたアニメ作品のスタッフ情報LODの構築
大里摘実（筑波大），三原鉄也（筑波大），永森光晴（筑波大）
アニメ作品には様々な人が関わっていますが，好きな作品の制作者の他の作品に対して興味を抱くなど，制作者個人に対する関心も高まっています．しかし，通常主要な役職以外の詳細についてはOP・EDなどのクレジット以外では容易に確認できません．既存のWeb 上のデータベースでは不十分であり，また，構造化がされておらず利活用性には課題があります．そこでこの研究では，アニメ作品と制作者の寄与を記述するデータモデルを定義し，複数の既存のWeb リソースを用いて Linked Open Data (LOD) データセットの構築を行っています．また，評価実験により，実際の検索や統計情報の可視化に利用できることなどが示されました．今後，応用先としてネット配信のようなサービスとの提携なども検討しているそうです．
情報が少ないため好きな原画さんの仕事が追いにくいと言っていた友人に研究を紹介しようと思います．（梶田）
SailormoonRedrawに関連するデータの収集とその分析について
粟根啓太（東京大），松井勇佑（東京大），相澤清晴（東京大）
SailormoonRedrawとは，2020年5月ごろにTwitterやpixivで流行したアニメ「美少女戦士セーラームーン」の1シーンを自分の画風で描くというムーブメントです．イラストにおいて，何を書くか，どのように書くかは作者によって大きく異なります．現在のイラスト検索システムは何を描くかに基づいていますが，どのように書くか，つまり画風に基づいた検索の需要も存在します．そこでこの研究は，画風の分析のために，SailormoonRedrawにおいて投稿された，キャラクターや構図，表情は同一で画風のみが異なるデータ群について，アナログ，デジタル，厚塗り風，アニメ風の4クラス分類を行っています．その結果，画風が色・輝度情報と局所的な特徴に寄与することが示唆されています．また，局所的な特徴の画風への寄与度を分析したところ，カーネルサイズを大きくすることで正解率が下がるため，新たな分析方法についても検討していく予定だそうです．
好きな画風での検索機能は，コミック検索などにおいても非常に需要が高いものだと思います．自由に利用できる日が楽しみです．（梶田）
Session4: 構造理解
構造記述を利用したマンガのメタデータ分析基盤 - マンガの研究データのLOD化 –
半澤輝尚（筑波大），三原鉄也（筑波大），永森光晴（筑波大）
ディジタルマンガの利活用性向上のため行われるコンテンツ分析において，マンガのメタデータを用いることは有用ですが，専門的な知識が必要になるためあまり利用されていません．本研究では，専門的な知識のない利用者でもマンガの内容と構造のメタデータを利用し，マンガのコンテンツ分析を行うことのできるシステムの構築を行っています．マンガのコンテンツ分析システムを提供するために，まずコミック工学研究会に投稿された論文を調査してシステムの要件を決定して，構築を行ったそうです．そして，構築したシステムの評価を行った結果，マンガの構成要素に付随する情報や利用者の持つデータを管理することで，マンガの内容情報のマンガのコンテンツ分析への利用を容易することができたそうです．また今後は，既存のデータセットに収録されていないマンガにも適用できいるようにシステムの拡張を行う予定だそうです．
分析のハードルを下げていくことは，マンガ研究の分野がより活発になることにつながると思うので，とても重要だなと思いました．（横山）
活躍する登場人物集合の変化に着目した漫画のシーン分割手法の検討
今泉港大（立命館大），山西良典（関西大），西原陽子（立命館大），小沢高広（漫画家 うめ）
漫画は，どうストーリーが進んでいるかを示すストーリー展開によって特徴付けられます．ストーリー展開に着目したシーン分割が可能となれば，読者好みのシーン検索システムなどの実現が期待されます．この研究では，ストーリー展開の変化は活躍する登場人物の出現率の変化に関連すると考えて，登場人物の出現率の変化を用いたシーン分割手法を提案しています．また，提案した分割手法と他の分割手法において，読者が主観で行うシーン分割や，作者の制作意図によるシーン分割と比較して分析を行っています．場面転換の頻度などを確認できるようにすることは漫画創作の支援につながるため，今後はシーン遷移可視化インターフェースの開発も検討しているそうです．
好きなキャラクタが活躍しているシーンを検索できるのはいいなと思いました．また，マンガ創作支援にもつながるということはとても興味深いと思いました（横山）
発話の役割ベクトルによる登場人物間の有向関係表現の有用性検証
森理緒奈（関西大），山西良典（関西大），松下光範（関西大）
漫画には，恋愛関係やライバル関係などの登場人物間の多様な人間関係が描かれ，二者の関係を表現する場合には無向関係が用いられていますが，必ずしも無向な関係として表現することが妥当な関係ばかりではありません．たとえば，同じ恋愛関係でも片方が愛情を示せない場合のような非対称な関係性も多く描かれています．また，発話は，発話者から話相手への感情や意図の伝達といった有向の役割があるため，発話を参照することで，発話者にとっての話し相手に対する捉え方が表現可能であるそうです．そこでこの研究では，恋愛漫画を対象として登場人物二者間の発話の役割情報に着目し，非対称な関係の表現可能である有向関係の表現を試みています．また，表現した有向関係について，関係性の類似度を求めることによって有用性を検証していました．その結果，多くの読者が似ているととらえる関係においては，提案手法によって類似性がみられれました．今後は物語の進行に応じて変化する関係性についての分析も検討しているようです．
あたらしく読むスポーツ漫画を探すときに「あのマンガのあのキャラ達と似ている関係性がある漫画ないかなぁ」とか思ったことがあるので，是非，恋愛漫画以外でも分析してほしいと思いました．（横山）
Session5: 漫画と教育
The effect of the ratio of text and images in comics on learning effects
LIN MIAO（東工大），高橋聡（関東学院），吉川厚（東工大），山村雅幸 （東工大）
この研究は，マンガを使った教材について，画像と文字の比率が学習効果に与える影響を明らかにすることを目的としています．そのために，文字：画像の比率を変えた統計学に関する教材を3種類（1：1，0.7：1，0.5：1）用意して，テストとアンケート調査を行っています．その結果，0.5：1の時に最も効果が大きかったことや，マンガが好きかどうかが学習効果に影響があることなどを明らかにしました．また，今後の展望では，マンガ教材にある文字をストーリーに関する物と説明に関する物に分けて文字の種類が学習効果にあたる影響を調査する予定だそうです．
高校生の時に世界史を漫画で学習しようと思ったことがあるのですが，文字が多すぎてマンガであっても楽しくはできなかったことを思い出しました．（横山）
コマ割りがマンガの読みやすさに与える影響
安田幸生（慶應大）
近年世界的に人気を博しているマンガには縦読みのものが多くあります．縦読みが好まれる理由を事前調査した結果，カラーであることと読みやすさが理由であることが示唆されました．そこでこの研究では，マンガの読みやすさを定量化することを目的としていて，特に「コマ割り」が読みやすさに及ぼす影響に注目しています．定量化の目的を達成するために評価実験を行い，結果からコマの高さの偏りや，視線移動距離などのさまざまな観点で考察を行っています．今後は，機械による漫画の読みやすさの評価指標作成を検討していく予定だそうです．
僕は人気のマンガしか読んだことがないからか，「このマンガ読みにくい」と感じたことはないのですが，マンガが電子化されていくことで読みにくいと感じるマンガも読者が読みやすくコマを調節できたりするようになったら面白いなと思いました．（横山）
視線情報と座圧情報を用いた多読時の漫画英訳本に対する興味度推定
高池太郎（大阪府大)，岩田基（大阪府大），黄瀬浩一（大阪府大）
英語学習において，マンガ英訳本が興味のわきやすさや，会話表現の多さなどから多読学習に有用であるそうです．英語多読をするうえで興味を持っているかがとても重要であり，本研究は視線情報と，座圧情報からマンガに対する興味度の推定することを目的としています．実験を行った結果，被験者5人のうち4人において推定制度が高く，その4人においてはマンガに興味があるときに重心はあまり動かず，興味がないときは活発に重心が動く傾向が示唆されました．今後は興味の有無だけでなく度合いも推定できる手法を検討していくそうです．
視線情報だけでなく座圧情報も入力とすることがとても興味深かったです．自分は腰を痛めやすく姿勢を頻繁に変えるので推定が難しくなるのかなと思いました．（横山）
Session6: 画像解析（1）
pix2pixHDを用いたマンガのコマ検出の一検討
迎山和司（未来大），神田世理夏（未来大）
漫画にはコマや吹き出しなどのメタデータがあり，これを収集できれば漫画の翻訳などの様々な技術に応用できます．しかし，メタデータを人手で集めるのは膨大な時間がかかるため，筆者らは漫画の画像から自動でコマの領域を検出し，適切な順序にすることを目的に研究を行いました．
筆者らはpix2pixHDとWatershed法と野田の分割線法という3つの手法を組み合わせた検出手法を提案し，比較手法との評価を行いました．その結果，従来手法と比べ提案手法の方がコマの領域検出において検出率が高くなり，コマの適切な順序も検出できることを明らかにしました．今後は変形ゴマと呼ばれる特殊な形状のコマに対応する予定だと述べていました．
昔はコマに読む順番を示す番号がふられている作品もありましたが，今はほとんどふられておらず，私達は番号なしでも問題なく読めているのが面白いなと思いました．また，Google Cloabratory によるリアルタイムで進行していくデモの様子が印象的で，とても参考になると感じました．（伊藤）
自動着色を利用した漫画キャラクターの顔検出の精度向上
本多由（農工大）
漫画画像から顔の位置を検出できれば，データベースの作成や分析などにとても便利です．しかし，機械学習によって漫画の顔画像を学習しても実写真ほどデータ数が多くないことや，表現のばらつきなどの理由から検出精度が上がらないという問題があります．そこで，本研究ではデータの多い顔写真を用いた顔検出手法を使い，入力画像や学習画像に自動着色を行った漫画画像を用いることで，漫画画像における顔検出精度の向上を目指しました．実験の結果，自動着色を行った漫画画像と顔写真を学習させた検出器に，自動着色を行った漫画画像を入力することで検出精度が上がることを明らかにしました．
漫画の顔検出手法に実写真の手法を適応しても精度が上がらないという問題に対し，漫画画像に自動着色することで実写真との差を埋めるという発想がとても興味深いと感じました．（伊藤）
Session7: 読書体験
セリフ頻度の時系列可視化を用いた漫画の内容の検索支援インタフェースの提案
雷凱風（立命館大），西原陽子（立命館大），山西良典（関西大）
漫画を読む際に何巻まで読んだかわからなくなるという経験をしたことがある方は少なくないと思います．その際に，Webで検索してしまうとネタバレに遭遇する恐れがあります．そこで，著者らは既読部分であれば登場人物のセリフの頻度情報からシーン情報を思い出せるのではないかと考え，登場人物のセリフの頻度を積み上げグラフで可視化するインタフェースを提案しました．実験から，提案したインタフェースは漫画の内容検索支援が可能であることを確認しました．また，インタフェースを用いることで既読部分と未読部分の判断もある程度可能だと明らかにしました．
私自身，漫画を何巻まで読んだかわからなくなったり，友達と漫画について話していてどこまでならネタバレにならないのかわからなくなったりした経験があるので，この研究で提案されていたインタフェースを是非利用してみたいと思いました．（伊藤）
マイクロタスクを用いたコマ画像の再構成によるマンガの要約
糸井峻（筑波大），三原鉄也（筑波大），永森光晴（筑波大）
漫画のデジタル化によって，Webサイトや動画サイト等で漫画の要約というコンテンツが提供されています．しかし，これを人手でつくるには作業コストがかかります．そこでマイクロタスクとして作業を分担し，効率的に漫画の要約を作成する手法を提案しました．この手法では，要約の要件を満たすコマを抽出するタスクと抽出されたコマに対し要約に使用する優先順位を決めるタスクを行ってもらうことで要約を作成します．実際に作成された要約の評価と分析を行い，テキストの内容等が要約に使用する際の評価基準になる可能性があることや，提案手法には一定の妥当性があることを明らかにしました．
動画サイトを利用している際に漫画の要約を用いた公告をよく目にするので，この研究によって，そのような広告動画がより効果的なものになるのが楽しみです．（伊藤）
教師なし特徴空間ドメイン適応法を用いたイラストに対するキャプション自動生成
髙橋遼（豊橋技科大），栗山繁（豊橋技科大）
近年，自然画像に対してキャプションを自動生成する研究は多く行われていますが，イラストとテキストが対となったデータセットが少ないためイラストに対してのキャプション生成の研究は多くありません．著者らは，イラストとテキストが対となったデータセットが少ないことを理由に挙げ，データセットの多い自然画像のデータセットを用いることでイラストに対する英文のキャプションを自動生成する手法を提案しました．この手法は自然画像とイラストのドメイン間に共通する特徴を抽出しつつ学習するというものです．評価実験から，ドメイン適応を使用した提案手法のほうが既存手法よりも品質が高いことを明らかにしました．吹き出しに対する誤認識を防ぐことやキャラクター名などの作品固有の名前を使用したキャプション生成を今後の課題として述べていました．
先に紹介しました顔検出の研究とも近しいものを感じました．私は英語が苦手なので，この研究の技術を是非利用したいです．（伊藤）
Session8: 画像解析（2）
距離画像を用いた漫画画像のインペインティング
小野直樹（東京大），相澤清晴（東京大），松井勇佑（東京大）
現在，漫画は日本だけでなく海外でも楽しまれています．日本の漫画を海外の方にも読んでもらうには翻訳作業が必要であり，漫画に登場するオノマトペを翻訳する際には日本語を切り取った跡を復元する必要があります．しかし，自然画像に対する手法を漫画画像に適応しても，高周波成分を多く含む線画の復元は難しく，あまりうまくいきません．そこで，著者らは線画を比較的周波数の低い距離画像に変換し，距離画像を復元することで欠損部分を復元する手法を提案しました．実験から，提案手法が既存手法よりも優れていることを明らかにしました．
実行例ではとても綺麗に復元できており，驚きました．また，漫画家さんからもコメントが寄せられていました．（伊藤）
陰影付き線画を用いた光源位置推定
鶴田あおい（大阪府大），岩田基（大阪府大），黄瀬浩一（大阪府大）
著者らは漫画の陰影表現に着目し，各コマの光源位置から演出意図を探るなどといった漫画の内容を解析することができると考え，各コマの光源位置を推定を試みました．この研究では，陰影が付与された線画を用いて，26か所の中から光源位置を推定する手法を提案しました．実験から，提案手法はランダムの精度を上回り，一部の光源位置のものを除くと50%を超える精度となることを明らかにしました．
自然画像では光源位置の矛盾は発生しないが、漫画ではそれが起こりうるという点が私にとっては新たな気づきでした．漫画を読む際に光源位置に着目したことがなかったのですが，今度から新たな視点で漫画を楽しむことができそうです．（伊藤）
感想
どの研究も着眼点や発想がとても興味深く，2日間があっという間に感じました．私自身も発表させていただき，多くの貴重なご意見をいただくことができとても嬉しかったです．ありがとうございました．（伊藤）
オンラインでの開催でしたが，白熱した議論の交わされる楽しい時間を過ごさせていただきました，ありがとうございます．コミックという身近な娯楽をテーマにした研究は，モチベーションに共感できるものが多く，今後今回の報告された研究にお世話になる日が来るのが楽しみです．また是非参加したいです．（梶田）
初めて参加させていただいたのですが，様々な観点からの研究が行われていて，マンガの奥深さを再確認することができました．今回いろんなお話が聞けたことで，これからマンガを読む時に，いままでよりももっと楽しむことができそうだなと思いました．また機会があれば参加させていただきたいです．（横山）