Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レビュー承認業務のAI自動化の紹介.pdf
Search
matsui-dmm
January 16, 2025
0
100
レビュー承認業務のAI自動化の紹介.pdf
matsui-dmm
January 16, 2025
Tweet
Share
More Decks by matsui-dmm
See All by matsui-dmm
生成AIによるレビュー承認自動化___導入後14日間のレポート_.pdf
takahiromatsui
0
400
AWS_Re_Invent_2024_参加レポート.pdf
takahiromatsui
0
250
レビュー基盤のDBクラウド化対応.pdf
takahiromatsui
0
4
生成AI(Claude3.5 Sonnet)による 次世代型レビュー承認システムの実現
takahiromatsui
0
300
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
960
Six Lessons from altMBA
skipperchong
27
3.6k
The Invisible Side of Design
smashingmag
299
50k
Done Done
chrislema
182
16k
Building Applications with DynamoDB
mza
93
6.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
A Tale of Four Properties
chriscoyier
158
23k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Transcript
レビュー承認業務のAI自動化の紹介 合同会社DMM.com プラットフォーム開発本部 第一開発部 ユーザーレビューグループ 松井 高宏
2 ユーザーレビュー基盤 • DMMの60以上ある事業の商品レビューシステムを開発 • DMMのサービス改善に役立てている チョー最高!!見る価値あり! 久しぶりに笑わせてもらいました。
3 レビュー公開は承認制 レビュー DB • 事業部から投稿されたレビューをBC部が審査し、公開 ◦ 量が多いため、公開まで2〜3日、最大1週間程度の待ちがある・・ BC部審査
4 • レビュー承認作業: 数十万件/年〜 • BC部が3人体制で不適切投稿を日々、チェック (150時間〜/月) • 直近10年で10倍以上に増加、工数増大化も懸念 レビュー投稿数推移(直近
10年) 承認作業の増大化
5 • 出演者の誹謗中傷、サイトへの苦情、意味不明な文言など ◦ ゴミ、◦ね、出演すべきでない、糞 等 • ネガティブワードではなく、弊社特有のコンテンツ特性の考慮も必要 不適切なレビューの事例 不適切なレビューの割合
2024年 (およそ1年前) 生成AIで承認業務を自動化したい!
7 生成AIの言語解析能力 • レビュー(自然言語)の解釈は非常に難しい (例) • 最近生成AIは、レビューの微妙なニュアンスの違いも可能 例 「商品は期待はずれです。 もう二度と買いません。」
「商品は期待はずれです。 次回は買わないと思います。」 ・1番目は否定的 → 承認NG ・2番目は完全否定してない → 承認OK
プロジェクトの取り組み (第一弾〜第三弾)
9 • 生成AIで AWS Bedrockを活用し、承認システムを構築 • レビュー投稿後に各サービスと連携し、承認判定 レビュー投稿 承認判定 AI
第一弾 レビュー承認システム構築(PoC)
10 • 生成AIの判定結果(OK or NG)をBC部の管理画面に表示 • BC部の承認を補助する目的、最終判断は 「人」 太郎さんのレビュー テストテストテストテストテストテストテストテストテストテ ストテストテストテストテストテストテストテストテストテスト
テスト AIの見解 NG:文言不明 「テスト」という単語の無意味な繰り返しで構成されていま す。有用な情報を提供していません 承認を補助するAI レビュー管理システム
第二弾 判定精度の向上対応 • BC部と週次ヒアリング、様々な継続的な改善を実施 • 生成AIと人の判断の一致率(OK/NG)は99%に到達
承認を完全自動化しようとなると 1%の差異もAIを信頼出来ない人には 大きな障壁であった・・
第三弾 自動化の戦略 • AIスコア導入: 低スコアほど適切、高スコアほど要注意 • 「人とAIの判断一致領域」を特定し、細かな自動化の条件設定を可能とした
スコア分析 ・AIスコアが0.15以下は、人の判断とほぼ100%一致 ・全体の約70%がこの条件に該当することが判明
自動化の方針 ・AIスコア:0.15以下のレビューは、AIによる自動承認 ・AIスコア:0.15を超えるレビューは、従来通りBC部が承認 自動化ライン AIが自動承認 BC部が承認
公開後の安全策 • 承認チェック機能 ◦ 自動承認されたレビューは後日、確認できる機能を提供 • 通報機能 ◦ 不適切なレビューをユーザーが通知できる機能も実施中
まとめ • 従来、BC部が主導した難しい判断が、生成AIで実現可能となった • スコア導入でBC部とAIの役割を分離したことが自動化の鍵となった • 各事業部向けに自動化を進めています (動画事業部も先日、了承済み) ◦ 工数削減+リアルタイム公開も可能に 詳細はTechBlogで公開中
https://developersblog.dmm.com/entry/2025/01/16/110000
ご清聴ありがとうございました