人ありき → AIありき、に変化させていったレコメンド体験

Transcript

1. 人ありき → AIありき、に 変化させていったレコメンド体験
2. 池松 恭平 / ike @ike002jp 　2021/05〜　カウシェ 　・Backend Engineer 　・EM / PdM 　・CTO 　2014/04〜　DeNA 　・Backend Engineer 　・EM
3. ソーシャル×発見型で “日本のECを再発明する”
4. レコメンデーションでの発見型体験(ウィンドウショッピング体験) • 最初は全然、AIありき（AIネイティブ）ではなかった • 変化過程とその学び、最近について 内容
5. ホーム、クエスト、関連商品など大部分で提供 AIありきゆえに、ユーザー体験、事業者体験、収益を、3点同時に押し上げ レコメンデーションによる発見型体験
6. • レコメンドにチャレンジしたけど失敗期 • 人ありき、こそ最強期 • AIありき、なレコメンドに再チャレンジ期 • 強化・発展期 AIありき、への変化の過程
7. • 当時は編成チームがいて、商品選定、クリエイティブ作成、掲載を実施 • 運用工数かかる中、商品数が継続増加 → 「つい見ちゃう、つい買っちゃう」の構造的な強化余地 • そこでレコメンド用のコンポーネントを作り、 データ基盤整備、Vertex AIでパイプライン構築等して、機能提供を開始 • が、成果としては、思ったようには繋がらず… 失敗期は2〜3年前、何を考え、何をしたか
8. 今思うと… • 以下のように実験していた ◦ ホームにおける一部領域でのみ、レコメンドを導入 ◦ その領域を経由した購入UUを計測 • 新手法/既存手法の正確な比較が難しいため改善を回しにくく、実行方法に改善余地あった ◦ 工数要因でやむを得ず、上記方法で行った ◦ が、仮説検証を大胆にやり切る覚悟が不足した実行だった、とも言える… • 上記に加えて今だからこそ思うのは、 レコメンドで何を解決するのか、その構造設計の深堀りが、実は不十分だった… ◦ すごく雑に言うと「マッチング精度上がって見応えもCVRも上がるはず」のような… ◦ 「あるべき全体構造がこれ、レコメンドを軸にして根本解決できそう」ではなかった 失敗期での学び
9. • 編成チームによる、商品ピックアップ、クリエイティブ作成、掲載 ◦ 改めてこれを効率化して、やり切ることに ◦ セールス経由で商品を発掘 → 一番よく魅せる ◦ 工数は一定かかるが、効果は高く、事業は伸びた • 一方で… ◦ 軌道にのる → 商品増える、トラフィック増える (滞在時間が、1日平均20分over) ◦ だからこそ、発見型EC体験をさらに大きく変えられる余地を感じる ◦ が、小・中規模の改善以外は、手詰まり感もある… ◦ 再びレコメンド…？ ◦ でも、これだけ強くなった今を、本当に超えられるのだろうか…？ 人ありき、こそ最強期
10. 候補商品にトラフィックを当てる → 反応が悪い → 商品の価格などの改定を、事業者に提案 → 商品が改善される → レコメンド候補商品が増 → UX向上 → さらにトラフィック増 (最初に戻る) 全体構造仮説の元、Backend、Mobile、ML、Sales、Marketing、CSを横断してのA/Bテストを実施 この成長構造&体験構造を、AIありき、で作れれば…？ → 再チャレンジへ 商品 HOMEでの フィード 商品 商品 商品 商品 高トラフィック状態 レコメンド候補商品
11. 再チャレンジは2ヶ月ほどで、確かな成果に
12. 手法はシンプルにして、比較環境をちゃんと作って、構造検証サイクルを回してよかった • 高度なものでなく、シンプルな手法ではじめてよかった ◦ 失敗期のモデル（BERTベース）や、パイプラインを流用 ◦ 2ヶ月で23回のA/Bの改修 • 成否が明確にわかる比較環境を、ちゃんと作ってよかった ◦ トラフィックレベルでA/Bテストできる状態を作った ▪ 少数トラフィックで新手法を試す → 事業影響を最小化 ▪ デイリーで数値を確認 → 差を分析 → 改善策出す ◦ トラフィックあたりの売上など、事業直結な成否明確な指標も採用 • 成長構造・体験構造と噛み合えば、シンプルな手法でも数値変化が起こる ◦ その変化をもとに、改善を回すことで、何が効くのかの示唆が得られた 再チャレンジ期での学び
13. • 内製での改善や、外製(BigTech系のエンジンなど)を 活用しての改善も実施 • 商品の価格提案機能も提供 • HOME以外含め、大部分に展開 ◦ 購入のうち、7割弱がレコメンド経由に • 最近（絶賛実施中） ◦ ユーザー投稿系でのチャレンジを開始 ◦ AIありき×ソーシャルの、 別の新しい構造仮説へのチャレンジ 構造強化・発展期と、最近 ユーザー投稿
14. • もともと、AIありき、ではなかった、発見型のEC体験 • 体験を「AIで置き換える」というだけではなく、 「AIありきの新しい構造」を目指し、事業を大きく変える成果となった ◦ △：この部分をAIで置き換えると、体験がよくなるのでは ◦ ◦：AIありきだとこう成長構造・体験構造を作れて、結果的に変わるのでは • 直近は商品と人のマッチング以外にも、 ユーザー投稿体験での、AIありき、の構造にもチャレンジ中 まとめ
15. 大きな仮説とスピーディーな検証 → 事業を伸ばす 📣📣📣 全社47名、プロダクト系は23名、一緒に楽しめる仲間を募集中！！ 📣📣📣 ◦ Backend、Mobile ◦ Platform、SRE ◦ ML、Data ◦ EM、VPoE ◦ PdM、Designer