レビュー承認業務のAI自動化の紹介 合同会社DMM.com プラットフォーム開発本部　第一開発部 ユーザーレビューグループ 松井　高宏

2 ユーザーレビュー基盤 ● DMMの60以上ある事業の商品レビューシステムを開発 ● DMMのサービス改善に役立てている チョー最高！！見る価値あり！ 久しぶりに笑わせてもらいました。

3 レビュー公開は承認制 レビュー DB ● 事業部から投稿されたレビューをBC部が審査し、公開 ○ 量が多いため、公開まで2〜3日、最大1週間程度の待ちがある・・ BC部審査

4 ● レビュー承認作業： 数十万件/年〜 ● BC部が3人体制で不適切投稿を日々、チェック (150時間〜/月） ● 直近10年で10倍以上に増加、工数増大化も懸念 レビュー投稿数推移（直近 10年） 承認作業の増大化

5 ● 出演者の誹謗中傷、サイトへの苦情、意味不明な文言など ○ ゴミ、○ね、出演すべきでない、糞 等 ● ネガティブワードではなく、弊社特有のコンテンツ特性の考慮も必要 不適切なレビューの事例 不適切なレビューの割合

2024年
 （およそ1年前）
 生成AIで承認業務を自動化したい！

7 生成AIの言語解析能力 ● レビュー（自然言語）の解釈は非常に難しい （例） ● 最近生成AIは、レビューの微妙なニュアンスの違いも可能 例 「商品は期待はずれです。 もう二度と買いません。」 「商品は期待はずれです。 次回は買わないと思います。」 　・1番目は否定的　　　　 　　　　　→　承認NG 　・2番目は完全否定してない　 　→　承認OK

プロジェクトの取り組み （第一弾〜第三弾）

9 ● 生成AIで AWS Bedrockを活用し、承認システムを構築 ● レビュー投稿後に各サービスと連携し、承認判定 レビュー投稿 承認判定 AI 第一弾 レビュー承認システム構築（PoC)

10 ● 生成AIの判定結果（OK or NG）をBC部の管理画面に表示 ● BC部の承認を補助する目的、最終判断は　「人」 太郎さんのレビュー テストテストテストテストテストテストテストテストテストテ ストテストテストテストテストテストテストテストテストテスト テスト AIの見解　NG:文言不明 「テスト」という単語の無意味な繰り返しで構成されていま す。有用な情報を提供していません 承認を補助するAI レビュー管理システム

第二弾 判定精度の向上対応 ● BC部と週次ヒアリング、様々な継続的な改善を実施 ● 生成AIと人の判断の一致率（OK/NG)は99%に到達

承認を完全自動化しようとなると １％の差異もAIを信頼出来ない人には 大きな障壁であった・・

第三弾 自動化の戦略 ● AIスコア導入：　低スコアほど適切、高スコアほど要注意 ● 「人とAIの判断一致領域」を特定し、細かな自動化の条件設定を可能とした

スコア分析 　　・AIスコアが0.15以下は、人の判断とほぼ100%一致 　　・全体の約70%がこの条件に該当することが判明

自動化の方針 ・AIスコア：0.15以下のレビューは、AIによる自動承認 ・AIスコア：0.15を超えるレビューは、従来通りBC部が承認 自動化ライン AIが自動承認 BC部が承認

公開後の安全策 ● 承認チェック機能 ○ 自動承認されたレビューは後日、確認できる機能を提供 ● 通報機能 ○ 不適切なレビューをユーザーが通知できる機能も実施中

まとめ ● 従来、BC部が主導した難しい判断が、生成AIで実現可能となった ● スコア導入でBC部とAIの役割を分離したことが自動化の鍵となった ● 各事業部向けに自動化を進めています　（動画事業部も先日、了承済み） ○ 工数削減＋リアルタイム公開も可能に 詳細はTechBlogで公開中 https://developersblog.dmm.com/entry/2025/01/16/110000

ご清聴ありがとうございました