SUZURIの規約違反チェックにおけるクリエイタフィードバックの試⾏錯誤/Trial and Error in Creator Feedback for SUZURI's Terms of Service Violation Checks

2025/11/05に行われたイベント「カバーとGMOペパボが語る、クリエイターの創作・表現活動を支える技術」でのLT資料です。

Gemini 2.5 によるセグメンテーションを利用した、クリエイタ作成画像への視覚的フィードバックの試行錯誤について紹介しています。

イベント概要：https://pepabo.connpass.com/event/369666/

Transcript

1. 1 SUZURIの規約違反チェックにおける クリエイタフィードバックの試⾏錯誤 SUZURI事業部 マーケットプレイスグループ マーケティングチーム 渡辺⿓⼆ カバーとGMOペパボが語る、クリエイターの創作‧表現活動を⽀える技術
2. 2 ⾃⼰紹介 SUZURI事業部 マーケットプレイスグループ マーケティングチーム 2021年 新卒⼊社 渡辺 ⿓⼆ わたさん • X: @ae14watanabe • Webエンジニア • 博⼠課程で機械学習の研究をやってました • ⼊社時からSUZURIのAI導⼊に携わる 近影（乾杯の音頭を急に振られﾄﾞｷﾞﾏｷﾞ）
3. SUZURI byGMOペパボ は画像1枚で誰でも簡単にグッズを作れるサービス！ SUZURIについて 3
4. 作ったグッズをSUZURI上で公開して販売できる SUZURIについて 4
5. • 規約で禁⽌しているデザインの例 • 知的財産権侵害（有名キャラクタのパクリなど） • 肖像権‧パブリシティ権侵害（第三者の写真の無断利⽤など） • 過度に猥褻‧暴⼒‧グロテスクな表現 • 第三者への誹謗中傷‧差別的内容 などなどなど… ⼿軽すぎるがゆえ、規約違反デザインがアップロードされることも SUZURIの運営上の問題 5
6. 想定：SUZURIの公式でないアカウントがSUZURIのキャラクタを無断利⽤した ケーススタディ 6 SUZURIの公式キャラクタ「ス リスリくん」を 無断利用したイラスト
7. • （どう判定を改善しているかは本LTでは扱わないので興味のある⽅はぜひ懇親会で…） サービスの健全化のため、AIチェックを導⼊！ SUZURIの健全化のための取り組み 7 ※オプトアウトの申請をした上で OpenAIのAPIを利用 LLM※ タイトル、説明文など テキスト情報 デザイン プロンプト（規約違反基準など） 判定結果「違反」 出力
8. 違反の事実のみ伝えても、何がダメなのか伝わらないことも 導⼊後に⽣じた問題 8 「こちらのデザインは 規約違反です」 最近クマが問題に なってるしクマが悪 い？ クリエイタ 再アップロード • 違反判定→違反箇所を外した修正をしてアップロード、の負のループに⼊ってしまう 違反でない 箇所の修正
9. 何が規約違反かをわかりやすく伝えて、NGな箇所を修正するよう促したい クリエイタのための理想状態 9 「スリスリくんの 無断利用が NG」 と伝わる通知 クリエイタ 再アップロード • 違反箇所は許容できないが、クリエイタの表現全体を否定したいわけではない 違反箇所の 修正 スリスリ くんか！
10. デザインの違反箇所を⾃動でハイライトして⽰せないか？ 理想に向けたアプローチ 10
11. • セグメンテーション：画像中で特定のオブジェクトの領域を推定するタスク 利⽤技術：Gemini 2.5によるセグメンテーション 理想に向けたアプローチ 11 Gemini 2.5 を使用した会話型画像セグメンテーション - Google Developers Blog https://developers.googleblog.com/ja/conversational-image-segmentation-gemini-2-5/
12. • 画像、スキーマ、指⽰をプロンプトとして⼊⼒ • 出⼒はJSON形式（テキスト） • base64形式で表現されたマスク画像が含まれる LLMでセグメンテーションができるってどういうこと？ 理想に向けたアプローチ 12 { "box_2d": [ 269, 617, 364, 706 ], "mask": "data:image/png;base64,iVBORw0KGg oAAAANSUhEUgAAAQAAAAEACAAAAAB5Gfe 6AAACJElEQVR42u3dy4rCUBAA0fr/n+55 gOBChpkh3tykqlbupI+dGExA（中略） tgB9ALgFwAu0AAyAmwC4CcALsAdgGQE2A XADcByAVAToBcgGUlYJ9/UwKQEyAXYH16 gK0MQC4AbgJOzT7/+QbgFmCf9ADrCT7fk f0yfvJLDbhMzqkPY9jz+H4Dj2TQVX0AVF ZF7nAt7CcAAAAASUVORK5CYII=", "label": "metal small items" }
13. Geminiにデザイン画像と判定根拠を与えてセグメンテーションを試みる 試⾏錯誤 13 Gemini 判定根拠「黒い三角に白い 目が2つのキャラはスリスリく んなのでアウト」 規約違反デザイン プロンプト「画像内で規約違反に該当する具体的な箇所を特定 し、セグメンテーションマスクを返してください 」
14. 数分の待ち時間のあと、壊れた結果が返ってくる😭 試⾏錯誤 14 Gemini 判定根拠「黒い三角に白い 目が2つのキャラはスリスリく んなのでアウト」 規約違反デザイン プロンプト「画像内で規約違反に該当する具体的な箇所を特定 し、セグメンテーションマスクを返してください 」 { "box_2d": [ 297, 149, 508, 240 ], "mask": "data:image/png;base64,iVBORw0 KGgoAAAANSUhEUgAAACQAAAAkCAYAA ADhPtYmmAAAACXBIWXMAAAsTAAALEw EAmpwYAAABJ0lEQVR4nO2WzU3DQBCG v0xQJ2gCdwJ2gCdwJ2gCdwJ2gCdwJ2 gCdwJ2gCdwJ2g... 出力（閉じていない JSON）
15. 仮説：セグメンテーションするにあたって解釈する必要があり難しい？ 試⾏錯誤 15 Gemini 判定根拠「黒い三角に白い 目が2つのキャラはスリスリく んなのでアウト」 規約違反デザイン プロンプト「画像内で規約違反に該当する具体的な箇所を特定 し、セグメンテーションマスクを返してください 」 { "box_2d": [ 297, 149, 508, 240 ], "mask": "data:image/png;base64,iVBORw0K GgoAAAANSUhEUgAAACQAAAAkCAYAAAD hPtYmmAAAACXBIWXMAAAsTAAALEwEAm pwYAAABJ0lEQVR4nO2WzU3DQBCGv0xQ J2gCdwJ2gCdwJ2gCdwJ2gCdwJ2gCdwJ 2gCdwJ2g... 出力（閉じていないJSON）
16. 解決策：セグメンテーションタスクを簡略化するため、まず対象を⾔語化させる 試⾏錯誤 16 Gemini 判定根拠「黒い三角に白い 目が2つのキャラはスリスリ くんでアウト」 規約違反デザイン プロンプト「判定理由から、画像内でセ グメンテーションすべき具体的なオブ ジェクトを抽出して。」 プロンプト「ターゲットをセグメ ンテーションして」 ターゲットラベル “白い目が2つの 黒い三角形 ” Gemini
17. 結果：正常なJSONが返ってきた！ 試⾏錯誤 17 Gemini 規約違反デザイン プロンプト「判定理由から、画像内でセ グメンテーションすべき具体的なオブ ジェクトを抽出して。」 { "box_2d": [ 453, 377, 888, 667 ], "mask": "data:image/png; base64,iVBORw0KG goAAAANSUhEUgAAA QAAAAEACAAAAAB5G （中略）Jggg==", "label": "2 つ の白い目を持つ黒い 三角形" } 最終出力 （閉じたJSON） プロンプト「ターゲットをセグメ ンテーションして」 ターゲットラベル “白い目が2つの 黒い三角形” Gemini 判定根拠「黒い三角に白い 目が2つのキャラはスリスリ くんでアウト」
18. 返ってきたマスクを実際に可視化するとハイライト成功！ 試⾏錯誤 18
19. 健全性と表現の尊重 どちらも諦めない SUZURIを目指すぞ！ 19
20. • 背景：SUZURIではAIによる規約違反チェックを⾏っている • 問題：違反の通知において「何が違反だったのか」がクリエイタに伝わりづらい • アプローチ：Geminiのセグメンテーションによる違反箇所のハイライト • Geminiのセグメンテーションに関する⼀般的な知⾒： • 解釈の必要がある対象のセグメンテーションはまだ失敗しやすい傾向 • セグメンテーションのオブジェクトを具体的に指定するとうまくいく可能性が⾼まる =オブジェクトの具体化のタスクを前段に噛ませると吉 本LTのまとめ まとめ 20
21. 抽象概念に基づくセグメンテーションも…違反領域もいけるのでは？ 理想に向けたアプローチ 21 Gemini 2.5 を使用した会話型画像セグメンテーション - Google Developers Blog https://developers.googleblog.com/ja/conversational-image-segmentation-gemini-2-5/ • 「掃除すべき箇所のセグメンテーションマスクをください」という指⽰
22. 規約違反チェックでは「判定」と「対応」がシーケンシャルに⾏われる 22 ① 違反状態の 判定 ② 商品に対する対応 ③ クリエイタに対する 対応 判定 対応