Amazon Bedrockを用いた新着募集のモデレーション半自動化への取り組み

Transcript

1. © 2025 Wantedly, Inc. Amazon Bedrockを用いた 新着募集のモデレーション 半自動化への取り組み Wantedly Tech Night #13 Aug.6 2025 - nogawanogawa
2. © 2025 Wantedly, Inc. 自己紹介 - 角川拓也 - X: @nogawanogawa - 所属 - ウォンテッドリー株式会社 データサイエンティスト - ex. - ITコンサル @コンサル会社 - システムエンジニア @金融系SIer
3. © 2025 Wantedly, Inc. 本日の発表の概要はテックブログでも公開しています ご興味ある方はこちらもご参照ください。
4. © 2025 Wantedly, Inc. 取り組みの背景 01
5. © 2025 Wantedly, Inc. https://help.wantedly.com/hc/ja/categories/10111494757913-コンテンツ-クオリティ-ガイドライン Wantedlyにおけるコンテンツモデレーション Wantedlyに掲載されるコンテンツには、 事業 の目的や経営理念、企業文化など、企業が持 つ独自の魅力を全面に伝えていただくことを推 奨しており、コンテンツに含まれる内容につい てガイドラインが定められています 募集に関するチェック項目 - タイトル - 本文 - 画像
6. © 2025 Wantedly, Inc. 従来のモデレーションの業務フロー コンテンツ 公開 人間に よる1次 チェック 人間に よる2次 チェック コンテンツの 修正依頼 公開NG 公開NG 公開継続 公開OK 公開OK
7. © 2025 Wantedly, Inc. 企業数の増加に伴いコンテンツ量も増加 Wantedly登録企業数が増加 - それに伴いコンテンツ量の増加に伴い、人力で コンテンツをチェックしきれなくなった 出所: ウォンテッドリー 2025年8月期Q3決算説明資料 モデレーション業務に関して 効率化が必要
8. © 2025 Wantedly, Inc. 半自動化システムの概要紹介 02
9. © 2025 Wantedly, Inc. 作り変えた業務フロー コンテンツ 公開 生成AIに よる1次 チェック 人間に よる2次 チェック コンテンツの 修正依頼 公開NG 公開NG 公開継続 公開OK 公開OK
10. © 2025 Wantedly, Inc. ⽣成AIによるモデレーション処理概要 コンテンツとルールを⼊⼒し、判定結果と理由を出⼒ システムプロンプト タイトル/本文/画像 チェック項目ごとのルール チェック項目ごとのルール チェック項目ごとのルール { “掲載可否” : True / False, “NG理由” : [ { “ルール名”: XXX, “違反箇所”:YYY, }, … ] } 入力 応答
11. © 2025 Wantedly, Inc. 導⼊してみた主な結果 ⾃動チェックによって⼈間による⽬視チェック件数は削減 - 45% 生成AIが怪しいと考えた 箇所も出力しているので 目視確認での負担も軽減 { “掲載可否” : True / False, “NG理由” : [ { “ルール名 ”: XXX, “違反箇所 ”:YYY, }, … ] }
12. © 2025 Wantedly, Inc. 運用改善・コスト削減の工夫 03
13. © 2025 Wantedly, Inc. 運⽤改善に向けた⼯夫 チェック基準やプロンプトの変更に素早く対応できるようにしたい • チェック基準の変更 ◦ コンテンツのOK/NGの基準も時間とともに変わることが予想される • プロンプトの変更 ◦ 既存のプロンプトで検出できないケースが発覚した際にはプロンプト の修正が必要 • モデルの変更 ◦ 精度やコスト面で優れたモデルが発表された際に、それらを素早く試 したい
14. © 2025 Wantedly, Inc. 運⽤改善に向けた⼯夫 プロンプトマネジメント機能でbizチームでも柔軟に検証可能に 詳細: https://aws.amazon.com/jp/bedrock/prompt-management/ プロンプトの作成 過去のバージョン との比較 ルール自体やプロンプト に書くべき内容を理解し ている担当者がプロン プトを作成 実際に作ったプロンプト で期待する動作ができ るか確認
15. © 2025 Wantedly, Inc. コスト削減に向けた⼯夫 再利⽤性が⾼いプロンプトについてプロンプトキャッシュを利⽤ システムプロンプト タイトル/本文/画像 チェック項目ごとのルール チェック項目ごとのルール チェック項目ごとのルール 入力 毎回共通 コンテンツごとに 異なる プロンプトキャッシュを利用 →コ スト削減・高速化 詳細: https://aws.amazon.com/jp/bedrock/prompt-caching/
16. © 2025 Wantedly, Inc. コスト削減に向けた⼯夫 Cacheの利用によっ てコスト圧縮 今回のケースでプロンプトキャッシュが有効であることを確認
17. © 2025 Wantedly, Inc. まとめ 04
18. © 2025 Wantedly, Inc. まとめ • Wantedlyのサービス内でのコンテンツ量の増加に伴い、人力でのモデ レーション業務が難しくなってきた ◦ Amazon Bedrockを利用した生成AIによる1次チェックによって工数 削減 ▪ 45%の目視確認の削減 ▪ NG判定の理由を出力することで、2次チェックに関しても 負担軽減 • 運用・コスト面に対して配慮 ◦ プロンプトマネジメント機能を用いて、実際にルールを決める担当者が プロンプトを作成可能 ▪ 開発サイド・業務サイドの効率良い分業 ◦ プロンプトキャッシュの利用によってコスト削減