Upgrade to Pro — share decks privately, control downloads, hide ads and more …

短期指標から長期指標を予測した上での意思決定 ~Surrogate Index入門~

Avatar for aando_pca aando_pca
June 19, 2025
850

短期指標から長期指標を予測した上での意思決定 ~Surrogate Index入門~

Avatar for aando_pca

aando_pca

June 19, 2025

Transcript

  1. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 3

    会社概要 社 名 本 社 創 業 資 本 金 事 業 内 容 従 業 員 数 パーソルキャリア株式会社 東京都港区 1989年6月 1,127百万円 人材紹介サービス、求人メディアの運営、転職・就職支援、 採用・経営支援、副業・兼業・フリーランス支援サービスの提供 7,048名 (有期社員含む グループ会社出向中の者は除く 2025年3月1日時点)
  2. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 5

    安藤 有瑠聡 Aruto Ando パーソルキャリア株式会社 データ・AIソリューション本部 データソリューション統括部 データサイエンス部 ビジネスサイエンスグループ 2022年4月 パーソルキャリア株式会社 入社 転職サービス「doda」の求人紹介事業におけるレコメンド アルゴリズムの改善などに従事 機械学習モデル自体の改善というより、モデルの出力結果を どうレコメンドの改善につなげていくか……といった部分を 扱うことが多いです
  3. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 6

    01 問題意識 02 Surrogate Indexについて 03 Takeaways(覚えて帰って欲しいこと) 04 参考文献
  4. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 7

    LTの中ではとても全てを伝え切ることは 出来ない……ので、皆様が業務の中で調べたいと 思った時に概要や実装を調べる際の 索引/全体図になるような資料を目指しています!
  5. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 問題意識

    Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 8
  6. 9 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    9 何か施策をやったとしても、真に重要なKPIへの影響は しばしばすぐにはわからない 例えば…… ◼ ECサイトでユーザー向けにクーポン施策を行って短期的には売上が向上したが、 長期的な売上への影響はわからない ◼ 求人プラットフォームでモデルを変更し短期的には応募数が増えたが、 長期的な採用決定につながっているのかはわからない にもかかわらず、我々はせいぜい数週間のABテストで結果を判断し PDCAを回さなくてはならない 問題意識
  7. 10 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    おっ、自分が実装した新アルゴリズムで ユーザーから企業への応募数が増えているぞ! リリース直後 応募は増えても結局企業の採用数は増えてないな…… (でも当初の目標は応募を増やすことだしまあいいか) 3ヶ月後 短期指標だけ見ているとこうなりがち
  8. 11 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    短期指標を組み合わせて 長期指標に対する施策効果を 推定すれば良いのでは? →Surrogate Indexを使ってみよう 問題意識
  9. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. Surrogate

    Indexについて Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 12
  10. 13 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    A.複数の短期指標と長期指標の関係を過去データを使って学習・予測したもの 例えば線形モデルの場合、Surrogate Index(ℎ(𝑆))は次のように書ける ℎ 𝑆 = 𝐸 𝑌𝑖 割当 |𝑆𝑖 = 𝑠 = 𝛼 + 𝑆1 𝛽1 + 𝑆2 𝛽2 + ⋯ 𝑆𝑛 𝛽𝑛 短期指標。1年後の売上に対する 1ヶ月後、2ヶ月後、…の売上など 𝑌の過去データ以外でもよい Surrogate Indexとは何か?
  11. 14 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    Surrogate IndexとATE(平均治療効果)の関係 過去データも推定したい施策も割当が完全にランダムである場合に限り、 𝑨𝑻𝑬 = 𝑬 𝒀𝒊 (割当 = 施策群) − 𝒀𝒊 (割当 = 対照群) = 𝒉 𝑺施策群 − 𝒉 𝑺対照群 が成立する (ATE: Average Treatment Effect、平均治療効果) つまり… 施策の平均効果はSurrogate Indexの差分に一致する!
  12. 15 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    次の実験ではユーザーの属性に応じて実験群と対照群に振り分けら れる確率が変わるけど大丈夫ですか? あと、グループの平均効果だけじゃなくて個人ごとの 施策効果の異質性も見たいな〜〜〜 全部解説してます[1, 4] ユーザーが過去データや次の実験で施策群に割り当てられる 確率の算出が必要だよ Susan Athey先生 より発展的な話題
  13. 16 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    16 1. 非交絡性/強く無視できる割り当て条件 ユーザーの特徴量𝑋で条件付けたもとで、 施策を受けるかどうかがランダムに決定される 2. サロゲート仮定 施策から長期指標𝑌への効果は、全て 短期指標𝑆を経由して生じる 3. 比較可能性 短期指標𝑆、ユーザー特徴量𝑋に対する 長期指標𝑌の関係は過去データと将来で同じ 過去データ及び将来の実験が ABテストなら無条件にクリア 事前の対処は難しい 過去データでSurrogate Index と長期指標𝑌との間に傾倒的な ズレがないか確認 多くの情報を組み込み、 モデルの予測精度を上げる 対策 項目 どのように仮定のもとで予測ができる?
  14. 17 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    Surrogate Indexと短期指標の関係(Surrogate仮定) 𝑆1 , 𝑆2 , …以外には𝑌に影響するものがない、という(非常に強い)仮定がSurrogate仮定
  15. 18 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    18 学習データと 検証データに分割した上で、 ℎ(𝑆)と𝑌の 関係を図示する ←の例では Surrogate Indexが うまくYを予測できていそう 時期ごとに系統的なズレがない かも要確認(比較可能性の検討) 仮定の検証
  16. 19 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    19 理論的な最小分散はAthey論文[1]で示されている Surrogate Indexの分散/誤差はどのように評価すればよいか?
  17. 20 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    20 [1]より、Surrogate Indexと真のATEとの間の 誤差の上限・下限を示した図 X軸は施策開始から何週目までのデータを使って 推定したかを表す 𝑅𝑦 2|𝑊 = 𝑐%はSurrogacy仮定が (100 − 𝑐)%成立するという想定 週数が長くなるほど分散が小さくなり、推定値の 誤差下限が減少している Surrogate Indexの分散/誤差はどのように評価すればよいか?
  18. 21 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    21 LinkedIn論文[3]では実際に得られたSurrogate Indexの値(𝑃𝐶𝐻)から 分散の統計量を計算している(予測二乗誤差/サンプルサイズを加える) ここにさらにCUPEDを使って分散を削減したものを最終的な誤差としている (CUPED: 施策実行前のアウトカムを使って母平均を調整する手法) Surrogate Indexの分散/誤差はどのように評価すればよいか?
  19. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. Takeaways

    Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 22
  20. 23 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    • ABテストでは、短期指標から長期指標を予測して意思決定をしたい • 過去データも将来の施策もABテスト(ランダム割付)であれば、 線形モデル等で短期指標から長期指標を予測して違いを見るだけで十分 • ホールドアウト検証でSurrogate IndexがうまくYを予測できているか どうかを図示することで妥当性を判断する • 分散は理論下限もしくは統計量に予測誤差を加える形で導出 Takeaways(覚えて帰って欲しいこと)
  21. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 参考文献

    Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 24
  22. 25 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    1) Athey, S., Chetty, R., Imbens, G. W., & Kang, H. (2019, rev. 2024). The Surrogate Index: Combining Short-Term Proxies to Estimate Long-Term Treatment Effects More Rapidly and Precisely. NBER Working Paper No. 26463. November 2019 (revised August 2024). https://doi.org/10.3386/w26463 この分野の理論的基礎となる論文。 2) McKenzie, D. (2019). Using surrogate index to estimate long-term treatment impacts from short-term follow- up. World Bank Impact Evaluations blog. https://blogs.worldbank.org/en/impactevaluations/using-surrogate-index- estimate-long-term-treatment-impacts-short-term-follow [1] の概要を数式を使わずに平易な文章で解説した記事。 3) Duan, W., Ba, S., & Zhang, C. (2021). Online Experimentation with Surrogate Metrics: Guidelines and a Case Study. In Proceedings of WSDM 2021. https://arxiv.org/abs/2106.01421 中間指標の選び方に関するガイドラインとLinkedInにおける実践例を示した論文。 参考文献(英語文献)
  23. 26 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    4) Athey, S. (2023). The Surrogate Index: Combining Short-Term Proxies to Estimate Long-Term Treatment Effects. https://d2cml-ai.github.io/mgtecon634_r/notebooks/9_surrogate_r.html [1]の筆頭著者であるSusan Athey先生自身による解説。 5) Huang, S., Wang, C., Yuan, Y., Zhao, J., & Zhang, J. (2023). Estimating Effects of Long-Term Treatments: A Longitudinal Surrogate Framework. https://arxiv.org/abs/2308.08152 WeChatにおける実践例。 6) Zhang, V., Zhao, M., Dimakopoulou, M., Le, A., & Kallus, N. (2023). Evaluating the Surrogate Index as a Decision-Making Tool Using 200 A/B Tests at Netflix. https://arxiv.org/abs/2311.11922 Netflixにおける実践例。 参考文献(英語文献)
  24. 27 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    7) 西林 孝 (2021). Online Experimentation with Surrogate Metrics: Guidelines and a Case Study. https://speakerdeck.com/hagino3000/lun-wen-shao-jie-online-experimentation-with-surrogate-metrics-guidelines-and-a-case- study [3]の日本語での解説スライド。 8) 西田 鴻志(2023). Surrogate index:短期で観測できる指標を用いた長期効果の推定 https://developers.cyberagent.co.jp/blog/archives/44402/ Surrogate Index概念のわかりやすい解説。 ただし対象は観察・実験が両方ランダム割当で、グループ平均での施策効果にだけ興味がある場合のみ。 9) Nobububi. (2024). Surrogate IndexのRによる実装 https://speakerdeck.com/nobububi/rdesurrogate-index こちらもSurrogate Index概念の解説スライド。 10) saltcooky (2024). Surrogate indexについて調べて簡単にまとめるhttps://saltcooky.hatenablog.com/entry/2024/02/04/230021 [1, 4]に基づいたSurrogate Indexの解説記事。 参考文献(日本語文献)
  25. 28 Copyright © PERSOL CAREER CO., LTD. All Rights Reserved.

    1. まずは[2, 8, 9]を読みながらSurrogate Indexのお気持ちを掴む 2. [4]や[10]を手掛かりにしながら ベース論文である[1]の概要を理解する 3. [3, 7]を見てどのような短期指標を採用するべきか、 分散をどう表現するかなどの実践上の注意点を知る 4. [5, 6]で実践例をさらに探索する 参考文献(ロードマップの例)
  26. Copyright © PERSOL CAREER CO., LTD. All Rights Reserved. 29

    エンジニアブログのご紹介 さまざまなテーマで事例や知見を学ぶ IT・テクノロジー人材のための勉強会コミュニティ 「TECH Street」当社の事例を公開しています。 「techtekt(テックテクト)」は、 パーソルキャリアのエンジニアブログです。 “みんなの「はたらく」をテックでつくる”をコンセプトに、 技術、組織、学びなど、さまざまな情報を発信しています。