実例から見るLLMのマンガ理解：実務VQAタスクによる長期的文脈と視覚情報の定性評価

第13回コミック工学研究会（https://sig-cc.org/?p=743） で発表したスライド

Transcript

1. 実例から見るLLMのマンガ理解：実務VQAタスクによる長期的文脈と視覚情報の定性評価 兵田 憲信 (株式会社ドワンゴ)
2. マンガを理解するとは マンガをボトムアップに分析・要約する技術により、複数ページにわたるマンガの長期的な文脈を扱うことが可能に 物語の長期的な文脈をどの程度理解できる？ 視覚情報の有無はマンガ理解にどのように差が生まれる？ MangaLensの紹介 想定される実務タスク 1. ボトムアップ式分析・要約手法 l あらすじの生成 2. 少数ページずつ順番に画像を読み取り l 物語のイベント履歴 3. 読み取りごとに作品全体の情報を更新 l 登場人物の属性と関係性 4. 話ごとに要約、最後に作品全体を要約 l etc… VQAタスク l 学校はなぜ爆発した？ l 森男と笑は最初に出会ったとき、それ ぞれどことどこをぶつけた？ l etc… 2
3. 物語の長期的な文脈をどの程度理解できる？ 対象作品 : 「天晴れ！カッポーレ」菅野博士 (Manga109sより) 複数話にまたがる問題、会話や行動で示される問題は大まかに正答 l イベントの因果関係 l キャラクターの関係性、変遷 細部を誤答、認識が困難な問題やメタ的観点が必要な問題は誤答 l 衝突したキャラクターたちがぶつけた箇所 l 特定イベントの時期 全般的な理解を達成できているが、VLM固有の認識精度に起因する誤りが残る → 適切な画像の選択と読み返しを可能にすれば認識精度が向上 3
4. 実例紹介 誤り Q. 第1話で学校はなぜ爆発した？ 第1話で学校が爆発（全崩壊）した理由は、カッポーレ博士が発明した物質復元機「元通り君」のエネルギ ーが暴走したためです。 (中略) エネルギーの暴走: この装置の動力源としてアンドロイドの助手・リリカ（ロボ子）が接続されますが、彼女 が負荷に耐えきれず「余剰エネルギー」を一気に放出してしまいます。 全崩壊: 解放されたエネルギーが計算を大幅に上回ったため、壁を直すどころか校舎全体の構造が耐え られなくなり、一瞬にして学校は瓦礫の山へと変わってしまいました。 この事件の結果、学校は再構築に1週間かかることになり、主人公の森魚（もりお）たちは図らずも1週間の 休み（休校）を手に入れることになりました。 4
5. 視覚情報の有無はマンガ理解にどのように差が生まれる？ マンガ理解において視覚情報が必要となるパターンを評価 l 人間は文字情報を中心に見て、顔などの視覚情報を周辺視で見る l マンガにOCRを実施、テキストとbboxのペアをVLMで分析し、VQA評価 あらすじの抽出は大部分で視覚情報によらないことが多い l 重要な視覚情報は回答できることが多い l テキストでも説明されがちなため 登場人物の外見や絵だけで表現された心理描写は誤答 l 視覚情報で後から補正できないため、誤り訂正能力が低い l 表情と発言が一致していない場面は発言を過信してしまう l 絵だけで心理描写や物語進行を行う作品は認識できない テキストで説明されない視覚情報や、心理描写の理解に視覚情報が必須 7
6. 実例紹介 誤り 第5話で聖子が最後にたどり着いたのはどこ？ 第5話「ライバル!ライバル!!」の結末において、聖子が最後にたどり着いたのは「病院（のベッ ドの上）」です。 同エピソードでは、岸田森魚のライバルである甲賀聖子と天道笑が、科学技術を駆使した装 備で水泳対決を繰り広げます。しかし、カッポーレ博士が事態を収拾するために水を元素分 解した結果、プールの水が一瞬で消滅してしまいます。 笑は推進力を失って止まりましたが、重厚なメカを装備していた聖子は、その重量ゆえの猛 烈な慣性で乾いた床の上を「ずざざざ」と滑り続けました。聖子は笑を追い越して「勝利」を宣 言したものの、その代償として激突するなどして怪我を負い、最後は病院に入院して、しばら く学校を休むことになるというオチで話が締めくくられています（138-139ページ）。 8
7. まとめ ボトムアップ方式のマンガ分析で長期的な文脈を理解できるように l 会話や行動で示される問題は大まかに答えられる l 一方で細部を誤る、認識が困難な問題やメタ的観点が必要な問題は誤る 視覚情報がないと致命的な誤りが発生するため、視覚情報を含める方が良い l 表情と発言が一致していない場面は発言を過信してしまう l 絵で心理描写や物語進行をするパターンでは視覚情報が必要 要約した情報だけではVQAは困難 分析は前処理として重要だが、回答フェーズでどのように読み返すのかがより重要 11