因果推論が浸透した組織の現状と未来 / The Present and Future of Organizations Embracing Causal Inference

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© ZOZO, Inc. 3 はじめに近年、因果推論は大きな注目を集めている分野で、関連書籍も多数出版されています。 ZOZOにおいても因果推論のアプローチは広く浸透し、意思決定や分析業務に活用されています。しかし、この手法が社内で広く活用されるようになったことで、従来は見えていなかった新たな課題も明らかになっています。本プレゼンテーションでは、私たちが直面している課題と、それに対して講じている対策について紹介します。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© ZOZO, Inc. 7 ZOZOと因果推論 ZOZOでは因果推論が浸透しており、因果効果がビジネス部門に「純増」と呼ばれ親しまれています。 ZOZO マーケティング本部所属メンバー: 私たちの部署では純増売上と純増新規購入者、つまり、広告を配信したことで獲得できた売上や新規購入者を成果指標に置いています。テレビCMやデジタル広告を配信することで売上が上がるのは容易に想像できますが、テレビCMやデジタル広告の配信がなくても購入してくださったお客様もいるはずです。その分の売上は、私たちの成果ではありません。純増を追うということは、本当に広告を届けるべき人に、届けることができているかを追い求めることなので、いつも試行錯誤を繰り返しています。出典: スタッフインタビュー　マーケティング本部　岩本麻里、青木成矢 - 株式会社 ZOZO(https://corp.zozo.com/people/interview/45/)

Slide 8

Slide 8 text

© ZOZO, Inc. 8 ZOZOの因果推論プロジェクト ZOZOでは具体的に下記のような因果推論プロジェクトが実行されています。アップリフトモデルによるユーザーターゲティング - DML* やMeta-Learnerといった手法を用いて「あるユーザーを施策の対象とした場合の因果効果」を推定し、因果効果が大きいユーザーを優先的に施策対象とする *DML: Double Machine Learning 各種因果推論手法を用いたマーケティング施策効果検証 - 合成コントロール法やDID* といった手法を用いて前述のテレビCMを始めとする各種マーケティング施策の因果効果を推定し、施策評価に活用する *DID: Diﬀerence In Diﬀerence

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© ZOZO, Inc. 10 因果推論が浸透したことで見えた課題因果推論は有益ですが、一方で扱いが非常に難しくもあります。その1つが「因果推論の根本問題」と呼ばれるものです。これは「ある個体に対して、同時に複数の処置結果を観測することは不可能である」という制約です。具体的には、あるユーザーが広告を見た場合と見なかった場合の両方の結果を同時に観測することはできないため、「もし〇〇であればどうなったか」という反実仮想の検証が困難になります。 ZOZOでも因果推論が浸透したことで、新たな課題が表出しました。

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© ZOZO, Inc. 12 1. 期待値の課題社内で因果推論が浸透したことで、不本意な水準まで期待値が高まってしまい、「因果推論で何でも解決できる」という期待値を持たれてしまうことがありました。振り返ると、社内で「因果推論」というドメインがハイプ・サイクルの”「過度な期待」のピーク期”にあたるような時期にあったのでは、と考えています。ハイプ・サイクルとは: Gartner社が提唱した、特定の技術の成熟度、採用度、適用度を示す図 (右図) 出典: ハイプ・サイクル（ハイプ曲線）とは意味/解説 - シマウマ用語集(https://makitani.net/shimauma/hype-cycle)

Slide 13

Slide 13 text

© ZOZO, Inc. 13 2. 妥当性の課題社内で因果推論が浸透したことで、様々なメンバーが因果推論を扱うようになり、妥当性を欠くような推論を行って得られた結果が利用されるケースが現れてしまいました。具体例 - ビジネス部門のメンバーがユーザーのランダム割付ABテストを行った。 Treatment群とControl群を比較する際に、「各群の対象者1人あたり」の指標ではなく、「各群のサイト訪問者1人あたり」の指標を用いてしまった。結果として予期せぬバイアスが発生し、異常に大きな因果効果が推定された。 - 分析部門のジュニアメンバーが施策の因果効果推定のためDID* を用いた因果効果推定を行った。介入前の期間のKPI推移のみを見て平行トレンド仮定が満たされていると判断したが、実際には介入後の期間で明らかに仮定が満たされないようなセッティングであった。 *DID: Diﬀerence In Diﬀerence

Slide 14

Slide 14 text

© ZOZO, Inc. 14 3. プロセスの課題因果推論系のプロジェクトが増えた結果、プロジェクトに必要なプロセスをスキップしてしまい、無駄な工数が発生する/正しいアクションに導けないプロジェクトが生まれてしまいました。具体例 - ある施策で特定のユーザー属性別の因果効果(CATE*)推定を依頼され対応したが、実際にはユーザー属性別の調整は不可能で、アクションに繋がらなかった。 * CATE: Conditional Average Treatment Eﬀect - ある施策が完了した後に因果効果推定の依頼を受け、複雑な因果推論手法を用いて対応したが、実施前に相談をもらっていればRCT* を適応し簡易に対応できる施策であった。 * RCT: Randomized Controlled Trial - ある施策の継続可否を判断するために因果効果の推定依頼を受け対応した。施策の実績を見れば明らかに継続は不可能な水準だったが、因果効果推定を先んじて対応した結果、無駄な工数を投下することとなってしまった。

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© ZOZO, Inc. 18 1. ビジネス部門への研修会実施高くなりすぎてしまった「純増」への期待値を適正化するため、ビジネス部門への研修会を企画・実施しています。 RCTが成立している案件と、観察研究系の案件に分け、それらに関する意識して欲しいポイント・アンチパターンを紹介しています。今回の資料同様に、「純増」に関する課題を下記3ジャンルに分類し、それぞれで実際に発生したNG事例を交えつつ、研修を行いました。 1. 期待値の課題 2. 妥当性の課題 3. プロセスの課題

Slide 19

Slide 19 text

© ZOZO, Inc. 19 1. ビジネス部門への研修会実施具体的には、下記のような内容についてレクチャしています。 - 「純増」はいつでも出せるわけではない、と認識すること - 前提認識を揃えることで、テスト設計等の段階から参加し改善できる - 「純増」を出す場合は、必ず算出後のアクションを想定すること - 想定することにより、アウトプット項目が明確になりズレが生じづらくなる - 「純増」を出す場合は、必ず仮定の妥当性を確かめること - 妥当でない仮定を置いている場合、推定された「純増」が誤った値となるこの際に意識したポイントは、頭ごなしに「こうして！」と伝えるわけではなく、「これらは分析部門が適切に伝えられていなかったため、今一度認識をすり合わせたい」「ビジネスを推し進めるために分析部門は尽力するため、たくさん相談して欲しい」といった、ビジネス部門への理解・リスペクトを尽くした研修にする、という点でした。

Slide 20

Slide 20 text

© ZOZO, Inc. 20 2. 分析部門内での勉強会・案件共有会の実施ビジネス部門への研修会だけでなく、分析部門内でもナレッジを相互共有しています。 - 勉強会 - 因果推論を担当する各分析チーム内で課題図書を設定し、輪読会形式で開催する - 各自で毎週課題図書を読んだ上で、疑問点・議論点を持ち寄る - 各分野の経験があるメンバーが議論をリードし、実用面でのナレッジを共有する - 案件共有会 - 各メンバーが完了した案件を持ち寄り共有する - 案件内で学んだこと・苦労したことを共有し、他のメンバーが担当する際に円滑に対応できる状態を作るまた、これらのナレッジ共有の場全般において、各チームに閉じずに他チームの希望者も参加可能な形式を採ることで、部門内でのナレッジシェアの活発化を目指しています。

Slide 21

Slide 21 text

© ZOZO, Inc. 21 2. 分析部門内での勉強会・案件共有会の実施これらのナレッジ共有の場では、単なる共有に留まらず下記のような会話をすることで、「より正しい分析をするための分析スキル向上」を目指しています。 - 勉強会 - 「この分析手法をZOZOで活用するとしたら？」 - 「過去この手法を使ったときに考慮できていなかった・改善できたポイントはなに？」 - 「この手法を使って既存の分析案件を改善できないか？」 - 案件共有会 - 「こういったバイアスを受けた結果なのではないか？」 - 「分析結果からこのような解釈もできるのではないか？」 - 「このような分析を行うことで、より精緻な結果を得られるのではないか？」

Slide 22

Slide 22 text

© ZOZO, Inc. 22 3. 分析プロセスの理想像の定義プロセスの誤りを防ぐため、分析プロセスの理想像を定義し、それらに則って実際に案件を進めることで、「分析前にもっと検討しておけば防げた失敗」を防止することを目指しています。 - フロー定義 - 「分析前に分析対象の背景情報を収集し、本案件のゴールを定義する」「背景情報に必要な項目は事業の理想形・事業上動かせるレバー・etc」といった分析前/後の対応も含めて、理想的なフローを定義した - ドキュメント定義 - 上記のような背景・ゴールといった情報を案件ごとに同一のテンプレートで管理する - 各案件でマネージャーやシニアメンバーによる上記ドキュメントのレビューを行い、案件の方向性やアウトプットイメージのすり合わせを行うこれらを定義するようにしてから、下記のような事象が明確に生じづらくなりました。 - 分析をしてみたものの、ビジネス部門の困りごと解決には繋がらなかった - 分析対象のことを良く知らないまま分析してしまい、的外れな提案をしてしまった

Slide 23

Slide 23 text

© ZOZO, Inc. 23 3. 分析プロセスの理想像の定義案件ごとのドキュメントでは、下記のような情報を共通のフォーマットで整理しています。 - 依頼部門の大方針 - 例: 現状から販促コストを増やさずに売上増 - 分析対象の理想状態 - 例: ○○施策での費用対効果(ROAS)が××%以上 - 直近のゴール - 例: 直近は○○施策の△△比率を最適化したい - 実現のための課題 - 例: △△比率変更による売上への因果効果が分かっていない - 課題解決のための分析項目 - 例: △△比率変更による売上への因果効果はいくらか - 例: 費用対効果(ROAS)を最も高められる△△比率変更はいくらか

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© ZOZO, Inc. 25 ＋α. 日々の地道な努力ここまでのトップダウン型のアプローチも重要ですが、もちろんこれらだけで問題が全て解決するわけではなく、ボトムアップ型での各メンバーの努力も重要だと考えています。ビジネス部門への理解・リスペクトを一番大事なものと考え、現実的でありつつ課題解決に直接繋がる分析を目指し、ビジネス部門と連携を取っています。因果推論は非常に難しい分野であるが故に、これらの試みも一朝一夕で成るものではありませんが、非常に有用なものでもあるため、引き続き地道に取り組んでいきたいと考えています！

Slide 26

Slide 26 text

© ZOZO, Inc. 26 ＋α. 日々の地道な努力具体的には、下記のような取り組みを個別の案件で進めています。 - 「純増」の妥当性の評価 - 直接的に評価することが実質不可能である「純増」の精度に対して、実施前のAAテストや検証中の実績確認を行い、ビジネス部門の行いたい意思決定に合わせ、間接的・多面的に評価する指標・基準を設定する - 例: ビジネス部門では「ある施策のROASが〇%以上かどうか」で継続判断を行う - AAテストでの誤差が△%以上あると、明らかに上記の判断の妥当性は担保できない - 過去に推定した「純増」の振り返り - 「効果を推定できたら終わり」ではなく、検証終了後もビジネス部門と伴走し、推定した「純増」に再現性があるか、より良い評価方法はないか、を継続して検討する - もし再現性が得られないようであれば、優先度を上げてビジネス部門と連携を取り、新たな評価方法の検討を行う