SAM3を用いたコマ・吹き出しの 領域検出と分割構造からの読み順推定

第13回コミック工学研究会（https://sig-cc.org/?p=743） で発表したスライド

Transcript

1. SAM3を用いたコマ・吹き出しの 領域検出と分割構造からの読み順推定 佐々木一磨 株式会社ドワンゴ
2. コマ/吹き出しの視覚的な構造認識 背景 • コミック工学における基礎的な問題 • 多様な例外の存在 • 専用モデルの学習 課題 専用モデルの学習と運用はコストが高い アプローチ • 汎用的なモデルを使う • ヒューリスティクスとの併用 © 菅野博⼠ 2
3. 汎用モデルによる検出と読み順推定 1. コマと吹き出しをSAM3でセグメンテーション [1] 2. コマ分割線を探索→コマ順推定 • 位置関係と再帰的な関係で決定 [2] 3. 吹き出しの所属コマとコマ内の読み順を位置関係で推定 コマ割り線 吹き出し順序 © 菅野博⼠ 3
4. Manga109sを用いた実験 [3] ©浅⽉ 舞 4
5. Manga109sを用いた実験 [3] ©たしろ 季霧 5
6. 結果の所感 • 典型的なコマ割は認識できた • 定量的な精度検証が必要 • 描き文字は検出できなかった • 失敗例 Ø 枠のないコマ Ø 丸くない吹き出し © 菅野博⼠ ©たしろ 季霧 6
7. 参考文献 [1] Carion, N., Gustafson, L., Hu, Y. T., Debnath, S., Hu, R., Suris, D., ... & Feichtenhofer, C. (2025). Sam 3: Segment anything with concepts. arXiv preprint arXiv:2511.16719. [2] Tanaka, T., Shoji, K., Toyama, F., & Miyamichi, J. (2007, January). Layout Analysis of Tree-Structured Scene Frames in Comic Images. In IJCAI (Vol. 7, pp. 2885-2890). [3] Aizawa, K., Fujimoto, A., Otsubo, A., Ogawa, T., Matsui, Y., Tsubota, K., & Ikuta, H. (2020). Building a manga dataset “manga109” with annotations for multimedia applications. IEEE multimedia, 27(2), 8-18. 7