コミック工学という研究分野が存在する
はじめに
「かめはめ波！！」や「ゴムゴムー」や「諦めたらそこで試合終了ですよ」という言葉の数々を多くの人は一度以上，聞いたことがある言葉だと思います．この言葉は日常的にもしばしば使われ，たくさんの印象的な言葉たちを産み出してきました。今やこの漫画は日本だけでなく世界にも広がり、需要数は右肩を挙がるばかりです．実際に、漫画の新刊発行部数は1万以上にもおよぶと共に、電子書籍の方が2017年以降から紙媒体よりも読まれるようになりました（確かそうだったはず）．このような膨大なコミックがあるなかで現状の検索はジャンルや初志情報などに限ります．もっと内容に沿うような，例えばワクワクするような漫画が読みたいとか，涙頂戴のような，そういうクエリで探せるようになることが求められています．また，漫画は今や娯楽のために読まれるだけでなく，教育や日本語表現（オノマトペとか）を表すことにも用いられています．教育では日本語初学者を対象に漫画を読ませて，母国の言葉と日本語の表現がどう違うかを学ばせるために，利用されます．以上のような，娯楽に捕らわれない多様性のある漫画の活用を行うためには，漫画の情報を分析したり，データを集めたり，漫画構造の仕組みについて知る必要があります．これらのことを遂行するために，コミック工学と呼ばれる分野があり，体系的にコミックを一つの研究分野として捉えて，知見を集めていく必要があります．その中で，現在では，深層学習の発展とともに，画像や言語処理や音声処理に至るまで，様々な部分で近代手法が用いらています．そこで，この記事ではそれらの研究分野について一部部分だけ紹介したいと思います．
【記事更新】私のブックマーク「コミック工学（Comic Computing）」 – 人工知能学会 (The Japanese Society for Artificial Intelligence)
データに関する研究
漫画を研究するにあたりどのようなデータセットが主に利用されるかを示して起きたいと思います．漫画のデータは著作権が関わるため，他のデータセットと比較しても収集が難しいものであります．しかし，現在は一定の範囲で，分析できるデータセットや作成方法について，報告されているので，その一部を少しかいつまんで紹介したいと思います．
Manga109
漫画を研究し始めたら必ずといっていいほど，このデータセットについてぶち当たります．
このデータセットはこのデータセット（以下，Manga109と称する）は，日本漫画のメディア処理の学術研究使用のために，東京大学 大学院情報理工学系研究科 電子情報学専攻 相澤・山崎・松井研究室によりとりまとめられました．Manga109は，日本のプロの漫画家によって描かれた109冊の漫画で構成されています． それらは，1970年代から2010年代に公開された漫画であり, 対象読者層やジャンルも幅広く網羅しています．（詳細はExploreの表をご参照ください）． 収録されている漫画のほとんどは，マンガ図書館Z（旧絶版漫画図書館）にて公開されています（サイトから引用）． マンガ図書館Zは無料で様々な漫画を見ることができます．さて，このデータセットの構造ですが，「顔，テキスト，コマ，全身」の位置がxml形式で提供されています．このデータを用いれば，この1ページには「何が，どこに，誰が」，を機会が自動で判断することができるようになります．深層学習の物体検出の技術を用いて， https://repository.dl.itc.u-tokyo.ac.jp/?action=repository_action_common_download&item_id=51208&item_no=1&attribute_id=14&file_no=1 のような研究もされていたります．この研究の応用先は，電子書籍のページを見るときに，ユーザに視覚的に見やすいようにすることが期待されます．例えば，人物がぶつ切り状態でコマが下にいかないようにとかが考えられそうです．
データセット構築と海外データセット
上記のものと同じようなデータセットは海外にも同じようなものがあります．例えば， [1611.05118] The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narrativesのようなものがあります．データ数はこちらの方が圧倒的に多いですが，全てが手動でつけられていません．また，画風（書き方，絵を見てください）も日本のものとは圧倒的に異なっているので，使うときは注意が必要です．しかし，海外の漫画を実質無料でどんなものかなー，というのを確認することができます．
他のデータセットにはセリフ発話者データセット配布サイトのようなものがあります．これは「誰が，誰と話した？」というデータセットを作りたいときに作れるものとなっています．主にこの研究が問題視しているのは既存のデータセットに，「こま，テキスト，顔，人間」の場所の情報を取得することができるが，誰が誰に対して何を会話したか，という情報は取得することができません．この問題を解決することは，下の例の漫画の翻訳に必要不可欠な技術要素となっていくので，自動で「誰が誰に何を話したか」というのを付与することは重要となります．システムも公開されているので，利用してみるのは容易に思えます（使ったことないけど）．
言語処理
言語処理でどんなことがされてきたかをちょっとだけ，紹介します．
情報集約
漫画は海外の人も読むため，日本語から英語に自動で要約してくれるようなシステムは必要そうです．その問題を解決するために，マントラと呼ばれるシステムが公開されています．
https://arxiv.org/pdf/2012.14271.pdf
漫画の翻訳の難しさは，「登場人物の主語，誰が話しているか，誰に向けて話しているか，コマの不連続生」にあると思います．この中でも特に難しそうだと個人的に思うのは「コマの不連続生」だと感じてましたが，うまく取り扱っているようです．確か，githubにも上がっていたので確認しておきます．（私がNMTの分野に明るくないため，詳細な情報は？です．すみません）
漫画に登場するキャラクタをエゴグラムを用いることで定量的に，表現した研究があります． https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_1J302/_article/-char/ja/ この研究では，5次元で性格を定量的に表し，人間が思うキャラクタの性格とアルゴリズムにより表現した性格の精度を比較することで，有効かどうかを提示しています．この研究背景は，漫画の検索に対する問題を取り扱っています．現状の漫画検索は，ジャンルやレビューなどを対象としたざっくりとした，検索しかされていません．例えば，真面目で優しいキャラクタが登場する漫画を探したい，というようなユーザ欲求には答えることができません．この問題を解決するためには，キャラクタの持ち合わせている性格を把握する必要があります．この背景のもと，「優しい，真面目」というような性格を表す単語から，キャラクタの性格を推定しています．面白いですね．
コミック検索
コミックを探索的に探せることを目標にした研究があります． https://www.jstage.jst.go.jp/article/tjsai/32/1/32_WII-D/_article/-char/ja/ hldaとかtf-idfを駆使して，システム上で，表すことで探索的にコミックを探せるようにしています．hldaパラメータを手動で入れる必要がありますが，うまく取り扱っているようです．
終わりに
今回はこんなところで終わろうかと思います．コミック工学はまだまだ発展途上中であり，学会も他のものと比べて新しいです．投稿してみては？
