Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
生成AI 安心・安全に 貢献できる か 藤坂 祐介 DSC, CyberAgent,Inc.
Slide 2
Slide 2 text
Introduction 自己紹介 藤坂 祐介 (ふじさか ゆうすけ) 2012年新卒入社 部署: 旧秋葉原ラボ→DSC 担当: Orionなど 趣味: 旅行・気象・PC 属性: 2児 父 00
Slide 3
Slide 3 text
CAにおけるコンテンツモデレーション 本発表 位置づけ ・10/29発表 CADC 詳細版 - https://cadc.cyberagent.co.jp/2024/sessions/content-moderation-ai/ を ご覧ください 01
Slide 4
Slide 4 text
CAにおけるコンテンツモデレーション OrionとAI Orionと生成AI まとめ 01 02 03 04 CONTENTS
Slide 5
Slide 5 text
01 CAにおけるコンテンツモデレーション
Slide 6
Slide 6 text
CAにおけるコンテンツモデレーション CA メディア・サービス ・多数 メディア・サービスを提供 01
Slide 7
Slide 7 text
CAにおけるコンテンツモデレーション CA メディア・サービス →たくさん コンテンツに支えられている 01
Slide 8
Slide 8 text
CAにおけるコンテンツモデレーション ユーザが生成するコンテンツ ・ごく一部 ユーザによる悪質なコンテンツが問題となっている 悪質コンテンツ 低品位 誹謗中傷 詐欺 個人情報 そ 他 01
Slide 9
Slide 9 text
CAにおけるコンテンツモデレーション ユーザが生成するコンテンツ ・「悪質なコンテンツ」比率 01 <1/1000
Slide 10
Slide 10 text
CAにおけるコンテンツモデレーション ユーザが生成するコンテンツ ・ごく一部 ユーザによる悪質なコンテンツが問題となっている 低品位 誹謗中傷 詐欺 個人情報 そ 他 01 エロ・グロ・荒らし… 特定人物・組織などへ 中傷・粘着荒らし … 金銭詐取・クリックベイト … 氏名・電話番号・SNSアカウント… 出会い目的 利用・犯罪・自殺 …
Slide 11
Slide 11 text
CAにおけるコンテンツモデレーション 悪質なコンテンツ 問題 01 ・ユーザに対する影響 - ユーザへ 身体・精神へ ダメージ - 経済的な損害 ・サービス・企業に対する影響 - サービス 信頼低下→企業へ 信頼低下→収益低下 - 法的なリスク ・社会に対する影響 - 社会不安 醸成
Slide 12
Slide 12 text
CAにおけるコンテンツモデレーション 悪質なコンテンツ 問題 01 ・影響を最小化するために - 公開されている時間が長いほど影響が大きくなることが知られている - サービスや人員など 兼 合いで対応時間を決定 - 原則としてコンテンツや投稿したユーザを排除する - 警告など アプローチをとるケースも
Slide 13
Slide 13 text
CAにおけるコンテンツモデレーション Orionと ・コンテンツを確認・削除するため プラットフォーム (コンテンツ・モデレーションシステム ) 01
Slide 14
Slide 14 text
CAにおけるコンテンツモデレーション Orion データループ ・コンテンツ データを活用 01
Slide 15
Slide 15 text
02 OrionとAI
Slide 16
Slide 16 text
OrionとAI コンテンツ ・どんなコンテンツが投稿される か 02
Slide 17
Slide 17 text
OrionとAI コンテンツ ・テキスト 画像 動画像 … 02
Slide 18
Slide 18 text
OrionとAI コンテンツ ・コメント・チャット ブログ 02
Slide 19
Slide 19 text
OrionとAI コンテンツ ・Orionが扱うコンテンツ 特徴 - 多く サービスからコンテンツが集まってくる - データ 種類も色々 - ゆえに長短がバラバラ(1文字〜数万文字) - マルチモーダルなコンテンツも 02
Slide 20
Slide 20 text
OrionとAI コンテンツに対するフィルタリング ・フィルタリング 組み合わせ 02 コメント チャット ブログ本文 ユーザ名 ワードフィルタ 連投検出 ルールベース テキスト判別 画像判別 プロフィール画像
Slide 21
Slide 21 text
OrionとAI コンテンツに対するフィルタリング ・フィルタリング 組み合わせ 02 コメント チャット ブログ本文 ユーザ名 ワードフィルタ 連投検出 ルールベース テキスト判別 画像判別 プロフィール画像 計算量・リソース 小 計算量・リソース 大
Slide 22
Slide 22 text
OrionとAI テキストフィルタリング 02 テキスト分類 言語検出・翻訳 コンテンツ 言語検出・翻訳 テンプレート 特定 文章に同一また 類似したも 検出 スパム分類 悪質なコンテンツ 分類および検出 品質分類 コンテンツ 「質 良さ」 分類
Slide 23
Slide 23 text
OrionとAI 画像フィルタリング 02 画像分類 物体・顔など検出 特定 物体 検出、顔 部分 検出 スパム分類 悪質なコンテンツ 分類および検出 類似画像検出 過去投稿されたコンテンツに類似したも 検出 QRコードデコーダ 2次元コード 内容からフィルタリングを行う
Slide 24
Slide 24 text
OrionとAI 現在 フィルタリング 課題 ・ワードフィルタとカバレッジ - ひっかかりやすいワード→無実 コンテンツが巻き込まれる - ワードを限定→有害なも が残る ・複雑な表現 - 皮肉や比喩 文章に対する対応 - 検索避け(文.字 🉇🉈 など) ・学習データ - 悪質なコンテンツ 手口 移ろう - 社内データ 限界 - 社外データ入手 ハードル 02
Slide 25
Slide 25 text
OrionとAI 現在 有人レビュー 課題 ・皮肉も含めた微妙な表現を判断できる ・どんなタイプ コンテンツにも柔軟に対応可能 だが… ・24時間体制 維持が大変 ・コンテンツによる心身へ 影響 - 特に悪質なコンテンツ 02
Slide 26
Slide 26 text
03 Orionと生成AI
Slide 27
Slide 27 text
Orionと生成AI なぜ生成AI？ ・生成AIにより各課題を解決できる で ？ — ・ワードフィルタとカバレッジ - NGワードに頼らずコンテンツを判断可能 - プロンプトによるカバレッジ 調整[TODO] ・複雑な表現 - 比喩も含めた表現に対応可能 ・学習データ - LLMなら十分なデータを持っていることが期待できる 03
Slide 28
Slide 28 text
Orionと生成AI 生成AIによる業務改善 例 ・ABEMA コメントから悪質なユーザを抽出 03 BigQuery VertexAI + Gemini Spreadsheet
Slide 29
Slide 29 text
Orionと生成AI 生成AIによる業務改善 例 ・ABEMA コメントから悪質なユーザを抽出 03 BigQuery VertexAI + Gemini Spreadsheet 投稿と同時に フィルタリング + 一部オペレータが確認 コメントを格納 一部コメントに 生成AIを適用 結果を保存 オペレータ 判断で ユーザを排除
Slide 30
Slide 30 text
Orionと生成AI プロンプト ・プロンプト例 03 以上 リスト形式 テキストそれぞれについて、以下 内容が含まれる可能性を 0から1ま で 範囲で小数点第二位まで出力してください。 … a.誹謗中傷をしている b.他 ユーザに不快感を与える … (計7要素)
Slide 31
Slide 31 text
Orionと生成AI 結果 ・排除されたユーザ数 - 概 1ヶ月程度で低位に推移 - 「肌感」でも好評 03
Slide 32
Slide 32 text
Orionと生成AI 結果 ・コスト - インフラ込みで0.1円未満/コメントで処理可能 - Gemini 利用料に限れ 0.01円未満 - →安価に実現可能 03
Slide 33
Slide 33 text
Orionと生成AI 課題点 ・プロンプト 正当性 - コンテンツ+プロンプト=出力 検証 これから ・ハレーション - 一部同一 コンテンツで出力スコアが異なることがある - ユーザ コメント 概観がわかれ いい でそこまで問題視していない ・処理時間 - 1件あたり約1秒以上かかる - API レートリミットも存在 - 全量リアルタイム処理 不可→フィルタリング 代替として 機能しない ・セーフティフィルタ - フィルタ 解除をしてもらう必要あり 03
Slide 34
Slide 34 text
Orionと生成AI 有人レビュー 代替 ・生成AIによるオペレータ 代替ができないか調査中 … 03
Slide 35
Slide 35 text
04 まとめ
Slide 36
Slide 36 text
まとめ 本日 まとめ ・コンテンツを安全に保つために コンテンツモデレーションが必要 ・AI要素を使ったフィルタリングやモデレーションを提供している ・生成AIを用いたコンテンツ 検出に成功した ・これからやることもある 04
Slide 37
Slide 37 text
まとめ End ・ノウハウをお持ち 方ぜひお話聞かせてください！ 04