レビュー承認業務のAI自動化の紹介.pdf

Transcript

1. レビュー承認業務のAI自動化の紹介 合同会社DMM.com プラットフォーム開発本部　第一開発部 ユーザーレビューグループ 松井　高宏
2. 2 ユーザーレビュー基盤 • DMMの60以上ある事業の商品レビューシステムを開発 • DMMのサービス改善に役立てている チョー最高！！見る価値あり！ 久しぶりに笑わせてもらいました。
3. 3 レビュー公開は承認制 レビュー DB • 事業部から投稿されたレビューをBC部が審査し、公開 ◦ 量が多いため、公開まで2〜3日、最大1週間程度の待ちがある・・ BC部審査
4. 4 • レビュー承認作業： 数十万件/年〜 • BC部が3人体制で不適切投稿を日々、チェック (150時間〜/月） • 直近10年で10倍以上に増加、工数増大化も懸念 レビュー投稿数推移（直近 10年） 承認作業の増大化
5. 5 • 出演者の誹謗中傷、サイトへの苦情、意味不明な文言など ◦ ゴミ、◦ね、出演すべきでない、糞 等 • ネガティブワードではなく、弊社特有のコンテンツ特性の考慮も必要 不適切なレビューの事例 不適切なレビューの割合
6. 2024年
 （およそ1年前）
 生成AIで承認業務を自動化したい！
7. 7 生成AIの言語解析能力 • レビュー（自然言語）の解釈は非常に難しい （例） • 最近生成AIは、レビューの微妙なニュアンスの違いも可能 例 「商品は期待はずれです。 もう二度と買いません。」 「商品は期待はずれです。 次回は買わないと思います。」 　・1番目は否定的　　　　 　　　　　→　承認NG 　・2番目は完全否定してない　 　→　承認OK
8. プロジェクトの取り組み （第一弾〜第三弾）
9. 9 • 生成AIで AWS Bedrockを活用し、承認システムを構築 • レビュー投稿後に各サービスと連携し、承認判定 レビュー投稿 承認判定 AI 第一弾 レビュー承認システム構築（PoC)
10. 10 • 生成AIの判定結果（OK or NG）をBC部の管理画面に表示 • BC部の承認を補助する目的、最終判断は　「人」 太郎さんのレビュー テストテストテストテストテストテストテストテストテストテ ストテストテストテストテストテストテストテストテストテスト テスト AIの見解　NG:文言不明 「テスト」という単語の無意味な繰り返しで構成されていま す。有用な情報を提供していません 承認を補助するAI レビュー管理システム
11. 第二弾 判定精度の向上対応 • BC部と週次ヒアリング、様々な継続的な改善を実施 • 生成AIと人の判断の一致率（OK/NG)は99%に到達
12. 承認を完全自動化しようとなると １％の差異もAIを信頼出来ない人には 大きな障壁であった・・
13. 第三弾 自動化の戦略 • AIスコア導入：　低スコアほど適切、高スコアほど要注意 • 「人とAIの判断一致領域」を特定し、細かな自動化の条件設定を可能とした
14. スコア分析 　　・AIスコアが0.15以下は、人の判断とほぼ100%一致 　　・全体の約70%がこの条件に該当することが判明
15. 自動化の方針 ・AIスコア：0.15以下のレビューは、AIによる自動承認 ・AIスコア：0.15を超えるレビューは、従来通りBC部が承認 自動化ライン AIが自動承認 BC部が承認
16. 公開後の安全策 • 承認チェック機能 ◦ 自動承認されたレビューは後日、確認できる機能を提供 • 通報機能 ◦ 不適切なレビューをユーザーが通知できる機能も実施中
17. まとめ • 従来、BC部が主導した難しい判断が、生成AIで実現可能となった • スコア導入でBC部とAIの役割を分離したことが自動化の鍵となった • 各事業部向けに自動化を進めています　（動画事業部も先日、了承済み） ◦ 工数削減＋リアルタイム公開も可能に 詳細はTechBlogで公開中 https://developersblog.dmm.com/entry/2025/01/16/110000
18. ご清聴ありがとうございました