生成AIによるアイテムレビューパトロール / Patrolling Item Reviews with Generative AI

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© ZOZO, Inc. 株式会社ZOZO 技術本部データサイエンス部データサイエンス2ブロック西山翔大 2023年株式会社ZOZOに新卒入社現在はAIを中心としたプロダクト開発と研究開発をするブロックに所属しています． Interests: Computer Vision, Natural Language Processing, Outlier Detection (Audio), Product Management 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© ZOZO, Inc. 9 生成AIによるアイテムレビューガイドライン違反パトロールレビュー LLMによる違反検出違反なしレビュー取り下げ対応レビューレビュー違反ありレビュー担当者による目視確認違反可能性ありレビュー ● 生成AIの一つであるLLM（Large Language Model）を使用してガイドライン違反を検出 ● 半自動化 ○ LLMを用いて「違反可能性あり」レビューを検出し，「違反可能性あり」レビューに対して目視確認 - 生成AIを活用し、ZOZOTOWN上のアイテムレビューガイドライン違反をパトロールするツールを独自開発

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© ZOZO, Inc. 11 アイテムレビューパトロールツールの構成アイテムレビューパトロールパイプライン定期実行パイプライン実行 Cloud Functions Cloud Scheduler 対象期間のレビューを取得ガイドラインを取得ガイドライン違反判定ロジック違反判定結果シートへ書き出し通知 BigQuery Cloud Storage Python GPT-4 Cloud Storage Google Drive Google Spreadsheet Slack Vertex AI Pipelines

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO, Inc. 14 一般的にどのようなツールを作るべきなのか ● 課題を解決するツールを作成するべき(Why,What) ○ 担当者へのヒアリングから課題を定義・ペインの深掘り ○ 誰をどのような状態にしたいのか・何で課題を解決するか ● ツールの設計・実装の候補 (How) ○ 根本的な原因があれば運用で解決する方法はないか ○ ルールベースで解決 ○ AI（内製モデルのフルスクラッチ・ﬁne-tuning・生成AI） ● 生成AIプロジェクトも通常のプロダクトマネジメントと同様に進める

Slide 15

Slide 15 text

© ZOZO, Inc. 15 ヒアリングから課題の定義と深掘り ● ヒアリングはユーザーインタビュー方式で行い，ジョブを考える ○ 現状のアイテムレビューパトロール業務の運用ついて話を聞く ○ 課題が生じる原因になり得る箇所は詳細に立ち入る ○ 最終的なアウトプットとして ■ 何人でどのくらいの時間をかけてどのような業務をしておりいくら費用がかかっていて，なぜ課題が発生しているかを押さえる ● 担当者がどんな状態になれば良いかの定義 ○ 前提としてレビュー欄に適切なレビューが投稿されている状態 ○ 担当者の業務時間が削減された状態

Slide 16

Slide 16 text

© ZOZO, Inc. 16 課題の整理 ● アイテムレビューのガイドライン違反検出業務に多くの時間がかかる ○ 投稿されるレビュー数と比例して業務量が増える構造 ○ 「商品の不備」に関するレビューが混在 ■ ZOZOでは商品不備は迅速に対応するため個別に問い合わせていただくことになっている ● 目視確認する必要のあるレビューを減らすツール ○ レビュー欄が荒れない ○ 全てのレビュー群を違反可能性ありレビューに絞る

Slide 17

Slide 17 text

© ZOZO, Inc. 17 具体的に本PJにおいてどのようなツールを作るべきなのか ● 課題を解決するツールを作成するべき（Why, What） ○ 担当者の業務時間が削減された状態 ○ レビュー群から違反の可能性が高いレビューに絞る ● 課題解決ツールの設計・実装の候補 (How) ○ 根本的な原因があれば運用で解決 ○ ルールベースで解決 ○ AI（内製モデルのフルスクラッチ・ﬁne-tuning・生成AI）

Slide 18

Slide 18 text

© ZOZO, Inc. 18 課題が解決される状態を満たすリリース基準の作成 ● 金銭的コスト ○ 既存の人件費と比較してどの程度異なるか・許容できるか ● 時間的コスト ○ 生成AIによるアイテムレビューパトロールでどの程度短縮できれば良いか ● 定量的な評価 ○ どのような評価指標を用いて，どの程度の値を達成すれば良いか ● 定性的な評価 ○ 定性的にみて担当者のこれまでの出力と大きく異なるところはないか

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© ZOZO, Inc. 21 課題解決ツールの設計・実装 (How)の選択 ● 採用しないHow ○ ルールベースの手法 ■ 担当者の業務時間が削減できない結果になった ○ 新規モデルの開発・ﬁne-tuning ■ 新規モデル・ﬁne-tuningともに学習・評価データセットが必要 ● 採用するHow ○ 生成AI ■ 少量のデータセット，後々要件が変わった際の対応もしやすい ○ 運用による担当者の業務時間削減 ■ 半自動化運用で軽減できる・品質を保てる

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© ZOZO, Inc. 27 Prompt Engineering Best practices for prompt engineering with the OpenAI API ● Best practices for prompt engineering with the OpenAI APIを参考 ○ ほとんどベストプラクティスに従った ○ 具体的には ■ 問題を小さなstepに分けて解かせる ■ 各stepで明確に期待する出力を指示する ■ 入力される値を#などで囲む

Slide 28

Slide 28 text

© ZOZO, Inc. 28 実験 ● Prompt Engineering ○ Promptを変更して違反判定結果精度を向上させる ○ エラー分析を行い，代表例を抽出 ○ 担当者にフィードバックを依頼し，致命的な誤判定を減らす ● RAG-like ○ 違反理由が，妥当であるかの確認 ● ヒアリングや業務確認・把握のフェーズで自らもアノテーションできるようにしておいたので，フィードバック時に双方向の会話が可能

Slide 29

Slide 29 text

© ZOZO, Inc. 29 評価 ● 定量的な評価 ○ precision,recall,MCCで評価 ○ 半自動化運用では，見逃しが致命的なので，見逃し数を確認 ■ 違反ありレビューを違反なしと判定すると目視確認対象から外れるため ● 定性的な評価 ○ 担当者の肌感とアイテムレビューガイドライン違反判定ロジックの差異を確認 ○ 見逃しの質的な評価 ■ 明らかに誤りのレビューと曖昧なレビューが存在するため

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© ZOZO, Inc. 31 まとめ ● 生成AI/LLMの使用は目的ではなく手段 ○ 流行している ≠ 最適な課題解決手段 ○ ただし適切に使用すれば強力なツールとなる ● 目的と手段を混同すると誰も幸せになれない ○ 担当者の抱える課題を解決するツールでは無くなる ○ 開発後に大幅な手戻りが発生し無駄なコストがかかる ● 正しい機械学習・プロダクトマネジメントの基礎を応用する ○ 生成AI/LLMの活用で上記の基礎の多くは応用可能 ○ 課題の解決方法の選択肢が増え，インパクトの高い成果物を短期間で開発可能

Slide 32

Slide 32 text

No content