【新卒研修資料】効果検証_因果推論 / Effect verification Causal inference

株式会社ブレインパッドの2025年新卒研修資料です。効果検証と因果推論について扱っています

※ 本資料の公開はブレインパッドをもっとオープンにする取り組みOpenBPの活動のひとつです。
[OpenBrainPad Project]
https://brainpad.github.io/OpenBrainPad/

Transcript

1. 【新卒研修】効果検証・因果推論
2. 2 ©BrainPad Inc. 効果検証の考え方を知ること 本研修のゴール 目指す姿（職種問わず） • 本当は何が問いで、何が必要か、考える習慣をつける • 必要な値の算出を阻む交絡因子の多さと、それらを取り除く重要性を 知っている
3. 3 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
4. 4 ©BrainPad Inc. 講師紹介 よろしくお願いいたします。 アナリティクスコンサルティングユニット 阿部 智和 • 新卒6年目 • 一言：平井さんってカーリング全日本出 てるんですか！？ アナリティクスコンサルティングユニット 平井 直知 • 新卒4年目 • 一言：カーリング日本選手権は2年連続で 横浜開催です アナリティクスコンサルティングユニット 東野 秀祐 • 新卒2年目 • 一言： TAに選んでいただきありがとうご ざいます！
5. ©BrainPad Inc. Strictly Confidential 前提知識
6. 6 ©BrainPad Inc. 弊社の役割・提供価値 Vision: 息を吸うようにデータが活用される社会をつくる“Data-driven as Usual” ブレインパッドのご支援は単なる“分析支援”ではなく 様々なビジネスの場面で誰もが培った経験＋データ分析から得られた示唆で “意思決定ができる仕組み”をつくること
7. 7 ©BrainPad Inc. 弊社の役割・提供価値 データ分析から得られた示唆で “意思決定ができる仕組み”をつくる
8. 8 ©BrainPad Inc. 意思決定って？ 温泉旅行パックのWeb広告 続ける？場所変える？ 化粧品に商品サンプル つける？つけない？
9. 9 ©BrainPad Inc. 意思決定って？ 判断することの背後には、希望・要望があります。 温泉旅行パックのWeb広告 続ける？場所変える？ 化粧品に商品サンプル つける？つけない？ • せっかく出稿料払ってるんだから無駄に したくない • もっといい掲載先があるかもしれない • 購買や認知につながってほしい • でないと、無駄かもしれない
10. 10 ©BrainPad Inc. 意思決定とデータ 判断の材料として、ファクトが求められる 温泉旅行パックのWeb広告 続ける？場所変える？ • せっかく出稿料払ってるんだから無駄に したくない • もっといい掲載先があるかもしれない 例えばこんなデータがあると判断できる 閲覧数 コンバージョン率 「広告によって儲かる」 掲載先・広告枠間で比較 「今の枠が最適である」
11. 11 ©BrainPad Inc. 意思決定とデータ 判断の材料として、ファクトが求められる 化粧品に商品サンプル つける？つけない？ • 購買や認知につながってほしい • でないと、無駄かもしれない 例えばこんなデータがあると判断できる 配布数 対象商品の売り上げ増分 「配布によって儲かる」 アンケート等による認知度 「配布によって認知が広 がる」
12. 12 ©BrainPad Inc. 意思決定とデータ 温泉旅行パックのWeb広告 続ける？場所変える？ 商品のサンプル つける？つけない？ ビジネスにおける活動の効果を検証し、 意思決定に必要な材料を調える
13. 13 ©BrainPad Inc. 効果を「検証」するとは 効果検証のベースとなる考え方
14. 14 ©BrainPad Inc. 効果検証のベースとなる考え方 ただ「売上がいくらか」を提示するだけでは、効果検証とは言えません 施策中 （3月） 温泉旅行の広告施策をやったら、 売上がXXでした！ 施策は成功です！ …とはならない 売 上 XX円
15. 15 ©BrainPad Inc. 効果検証のベースとなる考え方 施策実行前と比べればいいのでは？だけだとまだ不十分です 施策前 （2月） 施策後のほうが売上が高い！ 施策は成功です！ …とはならない 売 上 XX円 施策中 （3月） XX円 効果？
16. 16 ©BrainPad Inc. 効果検証のベースとなる考え方 売上増加の背景要因を取り除き、施策の効果と区別しないと、効果を過大/過小評価するおそれがあります。 施策前 （2月） 売 上 XX円 施策中 （3月） XX円 効果？ 季節トレンドによる増分（例） 施策による増分←ここが効果！ これに気づかないと、 施策の効果を過大に 評価してしまう
17. 17 ©BrainPad Inc. 効果検証のベースとなる考え方 同質なものを比較できる状況が理想です。 ※俗に “Apple to Apple” と呼んだりします。 トナカイとりんごを 比べてはいけません りんごはりんごと 比べましょう
18. 18 ©BrainPad Inc. 効果検証のベースとなる考え方 施策対象に対して、施策以外の要因ができるだけ同質なものを比較対象に設定するのが原則です。 施策前 （2月） 売 上 XX円 施策がなかった 場合の3月 比べるのはこの二者間！！！ 施策を行った 場合の3月
19. 19 ©BrainPad Inc. 効果検証の大前提（補足） 効果を過大/過小評価することのマズさは、意思決定を誤ることにあります。 以下、ざっくりした例です。 過大 ＝リソースの無駄遣い 過小 ＝機会損失 効果のない施策に過剰に投資してしまう 施策を控え、得られたはずの効果を失う
20. 20 ©BrainPad Inc. この研修で覚えてほしいこと ここだけでも持ち帰っていただければ、この研修は成功です。 1 2 3 バイアスがあって当然。いかに背景要因を分解でき るかが腕の見せ所。 何を見れば意思決定ができるのか、その結果が判断 をどう変えるのかを合意しよう。 1と2の質を高めるのは、ビジネスモデルやドメイン に対する理解。努めよう。
21. 21 ©BrainPad Inc. 効果検証の基本 顧客またはユーザー（以下ユーザーとします）を「施策による介入を行う群」と「介入しない群」の二群に 分け、あらかじめ決めた指標を比較します。 介入群 対照群 KPIを比較 KPIがXX%増加 施策ROIがY.YY 施策介入有無の例 • WebサイトのデザインパターンA・パターンBを出し分ける • DMによるクーポンを発行する・しないを分ける • ECサイトのレコメンドに新しいロジック・従来のロジック を出し分ける このとき、施策介入群と対照群が同質になるよう割り 当てます ※同質＝性質が同じ。ユーザの性別・年代・年収など のデモグラ情報やサービスの利用頻度、購買金額など に偏りが生じていない状態。
22. 22 ©BrainPad Inc. 個人ワーク（5min） 実験・報告シナリオ（右側）における問題点を挙げてください。また、この施策が成功したかどうかを調べ るにはどうしたらいいか考えてみてください。 背景：新型車のDM施策 実験・報告シナリオ 新型のSUVが発売されました。子連れファミリーのアウトドアライフを助 ける機能が豊富な車種で、キャッチコピーは『広がる空と、広がる笑 顔。』です。試乗会招待のためDMを顧客へ送付し、問合せ・ディーラー 来店促進を狙います。 施策担当者はDMの効果をテストするように上長から指示を受けています。 施策介入群 対照群 担当者は施策を成功させるため、ファミリーまたはアウトドア志向の高い 顧客を配信対象としました。 施策介入群・対照群の問合せ率を比べ、「この施策によって問合せ率が 2.9%上昇した」と報告を行いました。 ファミリー or アウトドア派 単身者 or インドア派 ファミリー向けなん だから、そういう人 に送らなきゃ！ 問合せ率 3% 問合せ率 0.1% めっちゃ差がある やんけ！成功！ 2.9%UP!
23. 23 ©BrainPad Inc. 個人ワーク：答え 介入群と対照群が同質ではないため、「2.9%の上昇」は施策のみの効果ではありませんでした。 また、担当者による恣意的な選択（ランダムではない）でした。 問題点：顧客の性質のバイアスを無視している そもそも広告に反応しそうな特徴（ファミリー・アウトドア派）をもつ人 ばかりに介入しており、その影響を受けています。 施策以外の要因が同質な比較を作り出すことで、施策の効果を検出できま す。 ベースライン 性質の違いによる差 施策による増分 報告した 2.9% 問 合 せ 率 施策介入群 そもそも高関心 対照群 興味ない DM施策の効果を過大評価しており、以下のおそれがある • 施策を継続・拡大展開した場合の投資対効果が見込めない • 満足してしまい、施策改善のチャンスを逃す ベースライン 施策による増分 問 合 せ 率 施策介入群 そもそも高関心 対照群 そもそも高関心 理想：対照群に同質な顧客を設定する
24. 24 ©BrainPad Inc. 個人ワークねたばらし 今回のケースは、 “セレクションバイアス” が働いたと言えます。 セレクションバイアス サンプルを抽出する過程の偏りにより生じるバイアス。 比較しているグループの潜在的な傾向が違うことで悪さをする。 分析の際に対処しなければ、本来とるべきで あった選択と異なる意思決定をしてしまう。 施策介入群 対照群 この状態が続くと、ビジネスがどんどん誤っ た方向に進みかねない。。。
25. 25 ©BrainPad Inc. 理想的な効果検証 施策介入以外の要因が同質であるとうれしい、 つまり、介入ある/なし をランダムに設定すればよいです。 母集団 介入群 対照群 施策の有無以外は 同質になるはず 効果検証入門 より図を改変
26. 26 ©BrainPad Inc. 理想的な効果検証 設計の段階で条件を整えることで、理想的な効果検証が実現できます。 RCT: Randomised Controlled Trial 、無作為化比較試験 対象者をランダムに2群（またはそれ以上）に割り振り、一方にのみ介入を施し、結果を比較 することで介入の効果を測る実験の手法。 介入群 / トリートメント群 対照群 / コントロール群 V.S.
27. 27 ©BrainPad Inc. 理想的な効果検証 実務では、ユーザID等を用いて介入群・対照群をランダムに割り当てるよう試みます。 ユーザID nC8HK1wdew NNQEE4YHzM 10j7JiRCsK 0avgEvrHDv 31thJBjxuz ハッシュ値 6a36b11f2… 19c9c288b… 0e63d3f40… 231f868d3… 22e81f733… 割り当てグループ A A B B A ランダムな割り当ての例：IDのハッシュ化 ハッシュ化 数値化のち 割算の余りなど で分割 再現性があり、軽い実装でほぼランダムな割り当て結果を得ることができるため、 ハッシュ値による割り当てがよく利用されます。
28. 28 ©BrainPad Inc. 理想的な効果検証 介入群と対照群に分けて施策の効果検証を行う場合、それは「A/Bテスト」と呼ばれます。 ※技術パートでもう少し詳しくお伝えします！ A/Bテスト RCTができている状態で行う施策の実験。Webサービス等のUI/UX変更やマーケティング施策 を全体展開する前に一部のユーザを対象にテストを行います。 A/Bどちらか ランダム割当 現行UI 新UI CTR 1.5% CTR 1.8% 採用！
29. 29 ©BrainPad Inc. 個人ワーク（5min） 以下のビジネス背景にもとづき、実験シナリオにおいて生じうるバイアスを考えてみてください。 （いくつでもOK）できれば、そのバイアスがあるとどんな不都合が生じるかも考えてみてください。 • オンラインのヘルスケアQ＆A・カウンセリングサービス • 会員数は40万人。女性人気が高く、女性：男性＝4：1 。 • 内科・皮膚科・心療内科・小児科などカテゴリに分かれる • ユーザの質問投稿が活発になるよう試行錯誤中 • トップページのレイアウトを刷新。新旧のどちらがより質問投稿数が 多かったかを検証したい。 • 5/3（祝）、深夜2:00に実験を開始。 • Webサイト来訪順に、男性1,000人、女性1,000人に対して介入を実施。 コントロール群はその後ランダムに2,000人を抽出。 • 時間がないので前処理はスキップし、 「介入群の平均投稿数 - コントロール群の平均投稿数」 を施策の効果として算出 ビジネス背景 実験シナリオ ヒント： バイアスがある＝介入群とコントロール群（対照群）が同質でなくなる その理由探しこそが本ワークです
30. 30 ©BrainPad Inc. ワークの回答例 ほかにもいろいろ考えられると思います。 みなさんのご意見もききたいです。 介入群とコントロール群または実際 のサービス利用者の間で、男女比が 異なる。 本番適用時に比べ、実験では男性 の影響が強く表れている可能性 男女比 時間帯 祝日の深夜2時というやや特殊な時 間帯に実験を開始している。 介入群となるユーザが、一般的な ユーザと異なる性質をもつ可能性 今回の例だと「眠れない」相談が多 いとか タイムラグ 2:00から介入群を割り当てたあと、 別途コントロール群を用意している。 介入群とコントロール群の抽出に タイムラグがあり、ユーザの性質が 異なる可能性 treatment control 外れ値 介入群・コントロール群の比較を平 均値で行っているが、投稿数が異常 に多いヘビーユーザーの影響を受け やすい 結果がヘビーユーザーの分布に依 存してしまう
31. ©BrainPad Inc. Strictly Confidential 効果検証の技術
32. 32 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
33. 33 ©BrainPad Inc. 技術を理解する価値 基本的には施策の設計・実装時にバイアスが発生しないようにするのが理想です。 が、ここでバイアスが残ってしまった場合には、効果検証の際に技術で対処することになります。 施策 設計 実装 施策 展開 効果 検証 背景 分析 PDCAサイクルのどこでバイアスを除くか 設計段階でバイアスが発生しないよ うな実験を組めるのがベスト • A/Bテスト 設計で除ききれなかった バイアスは分析で対処 • DID • 合成コントロール 個体毎に施策効果を推定 • meta-learner
34. 34 ©BrainPad Inc. A/Bテスト
35. 35 ©BrainPad Inc. A/Bテスト 「A/Bテスト」は個別の分析手法の名前というより、実験の枠組みを指す用語です。 RCTができている状態で行う施策の実験全般を指します。 A/Bどちらか ランダム割当 現行UI 新UI CTR 1.5% CTR 1.8% 採用！ 一連の取り組みが「A/Bテスト」 何らかの手法で結果を比較 • 単純集計 • 統計的仮説検定 • ベイジアンABテスト • ベイズファクター
36. 36 ©BrainPad Inc. A/Bテストの流れ 仮説立案から意思決定までをビジネスサイド（PdMやマーケター）と連携しながら進めていきます。 役割 基礎分析 ファクトの提供 仮説・施策立案 分析 施策改善 アクション 分析 PdM /企画 基礎分析・仮説立案 効果検証 施策評価 ユーザ反応 の深堀 テスト 設計 テスト 実施 評価・ Go/No go 判断 仮説と分析で 施策を磨きこむ プロセス概要 • PdMやマーケターと協働して 仮説を立て、施策に落とし込む • 施策のブラッシュアップのため の繰り返し実施することもある • 施策の良し悪しを判断するためのテス トを設計し、分析までを実施 • 設計が非常に重要 • 分析結果に基づき、施策を全面展開するか 判断する • 結果の背景要因を明らかにする分析を行い、 次の施策に向けたインサイト抽出・アク ションの提案を行う
37. 37 ©BrainPad Inc. Aパターン Bパターン 表示回数 10,000 10,000 クリック数 965 1,035 クリック率 0.965% 1.035% 分散 0.0872 0.0928 A/Bテストの分析例 シンプルな仮説検定を使うことが多いです。 頻出するCVR（コンバージョン率）やCTR（クリック率）の比較には、母比率の差の検定が用いられます。 今回のケースでは、片側検定でp = 0.049 クリック率はBのほうが大きい 母比率の差の検定の場合 帰無仮説 H0: AとBのクリック率に差がない 対立仮説 H1: AとBのクリック率に差がある 一般的に p <0.05の場合に有意な差があるとみなし、 帰無仮説を棄却＆対立仮説を採択する。 Q：AとBのどちらがクリック率が高いか？ p値に応じて、帰無仮説を棄却するか判断
38. 38 ©BrainPad Inc. Why? 本来効果がないのに偶然現れた有意差を過大評 価するおそれ（第一種の過誤に引っかかる）。 チェリーピッキングとも。 Do • 施策の仮説に応じた指標を選ぶ • 結果を誠実に受け止める A/Bテストの分析における代表的なアンチパターン 総じて、p値に任せきりにせず、本当に見るべき指標がどれくらい変化したかを考えましょうというのがメッ セージです。 NG: 徒に沢山の指標で検定する NG: 効果の大きさを語らない NG: 判断指標を吟味しない p = 0.34 p = 0.63 p < 0.05 … x20 Why? 有意な差がビジネス的には意味の無いほど小さ い場合もある。※サンプルサイズを上げれば物 凄く小さい差も有意になる Do • A-B間の差の数値を確かめる • 検定指標とビジネスインパクトの関係も把 握しておく Why? 施策ではない要因の影響を受けたり、施策の目 的を外したりすることで、施策の効果を正しく 測れない Do • サービスの顧客体験の中で施策がどこに位 置し、何が変わるのかを追求。指標選びに 反映させる p!! p!! cvr+0.01%...
39. 39 ©BrainPad Inc. A/Bテストの難しさ（参考情報：各社の事例） 分けて実験するだけに見えますが、多くの企業が課題を抱え、より正確・効果的・効率的に実践するために 模索しています。 メルカリ様 Sansan様 Gunosy様 LIFULL様 [シリーズ]A/Bテスト改善 - メルカリにおける課題の全体像 - A/Bテストを推進しようとしている話 A/Bテストの情報過多と戦う A/Bテストの信頼性の課題とベイジアンA/Bテストの落とし穴 - LIFULLの取り組み
40. 40 ©BrainPad Inc. （参考）A/Bテストの技術的なつまずきポイント プロセス×担当者ごとに様々な落とし穴が隠れています ※詳細は割愛します。ここでは落とし穴だらけということが伝わればOKです。 仮説立案 テスト設計 テスト実施 計測 Go/No Go ビジネス 分析 システム 結果の算出 KGI-KPIの関係 が不明瞭 施策の仮説が曖 昧 パフォーマンス低下 分析ツール内部の 処理に不備 判断基準が仮説と かけ離れている 結果をナレッジとし て残していない システムの不備 他施策とのカニバリゼーション を考慮していない 外部要因に影響されている 指標が施策とマッチしない SRMが発生 結果に対する判断を 事前に決めていない A/B群のユーザが同質でない 期間が短くバーンイン の影響を受けている ログ取得時のエラー 割り当てトリガーが不適切 異常値/欠損値等 を考慮しない botや特異ユーザの存在 設計者が設計の要件を 把握していない 誤差の発生しやす い分析設計 サンプルサイズが不足 参考：A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは
41. 41 ©BrainPad Inc. A/Bテスト 参考書 もしも案件で取り組む場合には以下をお読みいただくとより価値を発揮できます。 BPワークショップ A/Bテスト編 難易度 ★★★ 難易度 ★★★★ A/Bテスト実践ガイド 真のデータドリブンへ至 る信用できる実験とは 難易度 ★ Pythonで学ぶ効果検証入門
42. 42 ©BrainPad Inc. DID
43. 43 ©BrainPad Inc. DID（Difference in Difference） 施策によっては人単位で割り当てがされず、A/Bテストができない場合もあります。 例1: 地域限定のプロモーション 例2: 地方局のTVCM 特定の地域の全店舗にて販促キャンペーンを実施。他 の地域では実施していない。 道東の店舗でのみ 販促キャンペーン なぜできない？ • 店舗を訪れた顧客は全員介入を受けている • 他の地域の顧客は同質性が保たれない 山陰支社がローカ ル局で実施した TVCM 全国展開している企業の地方支社で実施したTVCM。 なぜできない？ • 当該エリア内で視聴・未視聴の区別が困難 • 他の地域の顧客は同質性が保たれない
44. 44 ©BrainPad Inc. 反実仮想の発想 本当に理想的な効果検証は、同一人物に同一タイミングで介入・非介入を用意することですが、現実には不 可能です。これを「反実仮想」により解決します。 人物レベルで完全に同条件の比較は不可能 解決のアイディア 介入 同一人物の非介入 同一人物・同一タイミングで施策有無の結 果を比べれば、施策の真の効果がわかる →現実では不可能 介入 非介入 何らかの手段で「もし介入群に施策が行な われていなかったら」を作り出す ※これを「反実仮想」といいます
45. 45 ©BrainPad Inc. DID（Difference in Difference） DIDでは “介入群と同様な変化をたどる非介入群” を見つけることで施策効果を推定します。 売 上 施策前 施策あと 非介入地域 実際の介入地域 「介入がなかった」 反実仮想の介入地域 効果のイメージ 「施策がもしなければ、介入地域と同じ動きをする」 仮定を満たす非介入地域を見つける 平行トレンド仮定 「介入地域にもし施策がなかったら、非介入地域と同 じ動きをする」という反実仮想をもうけて比較 参考：効果検証入門
46. 46 ©BrainPad Inc. DID（Difference in Difference） 介入群の前後“差分”と非介入群の前後“差分”を比較して施策効果を検証します。 効果のイメージ 計算例 売 上 施策前 施策あと 非介入地域 実際の介入地域 「介入がなかった」 反実仮想の介入地域 ① 介入群の前後差分＝介入・施策あと ー 介入・施策前 ② 非介入群の前後差分＝非介入・施策あと ー 非介入・施策前 施策効果＝① 介入群の前後差分 ー ② 非介入群の前後差分 効果の算出自体は単純な集計で完了 ① ② 参考：効果検証入門
47. 47 ©BrainPad Inc. 合成コントロール
48. 48 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） 非介入ユニットから推定（合成）された「介入ユニットに介入がない世界での動き」を、 介入ユニットと比較することで効果を推定します。 介入していないユニットが複数存在 介入ユニットに介入がなかったら、を合成 1960 1970 1980 1990 2000 介入ユニット 非介入ユニット 1960 1970 1980 1990 2000 介入ユニット 非介入ユニットによる合成 介入前 介入後
49. 49 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） SCMでは非介入ユニットに個別の重みづけを行い、それらの線形結合により介入ユニットの反実仮想 （コントロール）とします。 効果の計算イメージ 合成したコントロール （介入がなかった場合の介入 ユニットのアウトカム） 推定処置効果 • j=1が介入ユニット, j=2,…J+1が非介 入ユニット • wが重み • tは時系列 • 右辺第一項は介入ユニットの実測ア ウトカム 参考：因果推論 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ
50. 50 ©BrainPad Inc. 合成コントロール（SCM: Synthetic Control Method） 時系列×クロスセクション（店舗ごとの日時売上）のようなビジネスのデータと相性がよく、 またDIDに比べて汎用的な効果検証ができることが期待されます。 使う上でのポイント 実例 単一の大きなイベントの 効果を測るのに向いている ＝政策とかテロの影響とか… 時系列×クロスセクションのデータ 例：店舗ごとの売上 ランダムな割り当ては不要 平行トレンドは必須ではない  Netflix • ゲーム イベントやアップデートの影響を評価し、チーム の規模拡大を支援するために、合成制御のバリエーショ ンを中心としたフレームワークとパッケージを設計  Facebook • 地理ベースの実験を使って広告効果を算出するライブラ リ GeoLift  Amazon • 生の観察データと構成ファイルを提供するだけで因果推 論ができる非専門家向けツール OpportunityFinder 引用： Round 2: A Survey of Causal Inference Applications at Netflix GeoLift OpportunityFinder: A framework for automated causal inference
51. 51 ©BrainPad Inc. ここまでのおさらい A/Bテストは同質なコントロール群との比較、DIDおよびSCMは介入群の反実仮想との比較により、 介入の効果を推定します。 A/Bテスト A群・B群は別の存在だが、介入以外は同質 ので、差を介入の効果とする DIDやSCM 「介入群に介入がなかった場合」と 実際の介入群を比較し、効果を推定 対象集団全体における平均的な介入効果 ATE: Average Treatment Effect 介入群における介入効果 ATT: Average Treatment Effect on Treated
52. 52 ©BrainPad Inc. ここまでのおさらい しかし実務では「効果が高いのはどんなユーザか」「狙っていたユーザセグメントの反応はどうだったか」 といった「条件付き処置効果（CATE）」が必要な場面が少なくありません。 ATEを求めることで効果の大きさはわかるが、結果 の考察や改善に向けたインサイトはわからない 「男性 30代」などの条件をつけてATEを調べれば、 効果の大きいユーザの特徴や施策を打つべき対象の 選別に利用できる CATE: Conditional ATE
53. 53 ©BrainPad Inc. meta-learner
54. 54 ©BrainPad Inc. meta-learnerによる予測 「介入がない場合のアウトカム」と「介入がある場合のアウトカム」を予測するモデルを作り、 2つのモデルでの予測値の差分を処置効果とします。 モデルの学習（T-learner） 処置効果の推定 非介入 モデル 対照群 介入 モデル 介入群 x1 東京 埼玉 ︙ x2 20歳 35歳 ︙ y 24 28 ︙ x1 東京 埼玉 ︙ x2 22歳 34歳 ︙ y 30 35 ︙ 対照群・介入群で2種類のモデルを作る X（説明変数） ｙ （ ア ウ ト カ ム ） 非介入モデルの 予測値 介入モデルの 予測値 Xで条件付けた 処置効果 引用：Meta-learners for Estimating Heterogeneous Treatment Effects using Machine Learning
55. 55 ©BrainPad Inc. 効果検証のための因果推論手法のチートシート いつどの手法を使うかは、各手法が何を仮定しているかを理解して選びましょう。 ※下記は考え方の一例です 引用：効果検証のための因果推論手法のチートシート
56. 56 ©BrainPad Inc. 効果検証のための因果推論手法のチートシート 引用：効果検証のための因果推論手法のチートシート
57. 57 ©BrainPad Inc. 発展的な効果検証 参考書 因果推論に関する技術的な内容は以下の書籍をご参照ください。 多様な手法を薄く広く 難易度 ★★★ 難易度 ★★★★ 難易度 ★★★★★ 効果検証の理論の王道 meta-learnerの発展 効果検証入門 因果推論 基礎から機械学習・時系列解析・因果探 索を用いた意思決定のアプローチ 反実仮想機械学習
58. ©BrainPad Inc. Strictly Confidential ビジネス面：実際の課題とプロジェクト事例
59. 59 ©BrainPad Inc. 前提知識 技術 ビジネス 本日のコンテンツ 理想的な効果検証を行うための知識と技術の一部をお渡しします。 講義の途中でどんどん質問してくださって構いません。 効果検証とは バイアス A/Bテスト meta-learner 合成コントロール 何が効果か ケース課題 DID 効果検証か？ RCT
60. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 1 2 3 バイアスがあって当然。いかに背景要因を分 解できるかが腕の見せ所。 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。 1と2の質を高めるのは、ビジネスモデルやド メインに対する理解。努めよう。
61. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 2 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。
62. 62 ©BrainPad Inc. 何が効果か 効果検証で何を効果とするかは、意外と難しいテーマです。 介入群：一日五束 Q. ほうれん草は健康を増進するか？ コントロール群： ほうれん草なし このとき、何を比べればよいでしょうか？ 風邪をひきにくいことが健康の 証拠だ いや、大腿四頭筋の立派さだ LDHの値を見に行きましょう ほうれん草なんて意味ないです 紛糾する議論！！！
63. 63 ©BrainPad Inc. 何が効果か 実際の効果検証でも、効果の選び方は慎重に決める必要があります。 クライアントからいただいた施策の目的・要件を分解し、言語化していくことをおすすめします。 例えばこんなシチュエーション 分析の前に考えるべきこと • 便利・おしゃれなキッチン用品専門店 • ECもあるが店舗での顧客体験に価値を置いており、来店してもらえ ば商品を知ってもらって、購買額が増えると期待 • 来店促進キャンペーンをEC上で展開。キャンペーンページを開くと 店舗で使えるクーポンIDが手に入る • 施策の目的 • 誰に対する施策か • 直接にはその人の何のアクションを促すのか • アクションから何を期待するか • 促すアクションと、KPIのつながりはあるか • ある場合、間に何が介在するか • 店舗で商品に触れる体験価値を提供したい • EC利用者が対象 • 来店を促す • 来店すれば、購買額が増える？（と期待）
64. 64 ©BrainPad Inc. 何が効果か 施策の目的・要件をあらためて言語化することでクライアントとの認識合わせが進むだけでなく、より正確 に分析するための材料集めにもつながります。 • 店舗で商品に触れる体験価値を 提供したい • EC利用者が対象 • 本当にその施策でよかったのか？ • 来店すれば、購買額が増える？ （と期待） • 分析時のデータ抽出条件とする • キャンペーンページの閲覧有無はわかる？ • 実店舗への来店 • メインは、EC利用者における来店者数の増加 • 来店はどのようにデータになっているか • EC利用者と来店者を紐づける方法は？ • 仮定でKPIツリー作成し、ファクト確認 • 来店したとて買わない人もいる • 他に展開されている施策の効果も受けるはず 施策の 目的 誰に 何を 期待 何を 促す
65. 65 ©BrainPad Inc. 指標選び 施策の効果を適切に測るような指標を選ぶには、クライアントのビジネスと施策をよく理解しておく必要が あります。 施策に近く、敏感に反応するのがよい指標 遠く・遅延しうる指標 途中に他の要因が介在 し「認知拡大」そのも のを測るには不適切 メール LP エントリー 購買 KPI KPI KGI 検討 近く・遅延しない指標 DM施策の目的である 「認知拡大」を反映す るLP到達率を測定 設計したKPIを対象に効果検証を実施 効果を区切って測定することで、施策が どのプロセスに貢献したか判断が可能 施策介入群 対照群 比較 LP流入 10pt増 エントリー 変化なし 購買 3pt増 例: キャンペーン通知DM施策
66. 66 ©BrainPad Inc. ワーク振り返り こんなワークがありました 背景：新型車のDM施策 実験・報告シナリオ 新型のSUVが発売されました。子連れファミリーのアウトドアライフを助 ける機能が豊富な車種で、キャッチコピーは『広がる空と、広がる笑 顔。』です。試乗会招待のためDMを顧客へ送付し、問合せ・ディーラー 来店促進を狙います。 施策担当者はDMの効果をテストするように上長から指示を受けています。 施策介入群 対照群 担当者は施策を成功させるため、ファミリーまたはアウトドア志向の高い 顧客を配信対象としました。 施策介入群・対照群の問合せ率を比べ、「この施策によって問合せ率が 2.9%上昇した」と報告を行いました。 ファミリー or アウトドア派 単身者 or インドア派 ファミリー向けなん だから、そういう人 に送らなきゃ！ 問合せ率 3% 問合せ率 0.1% めっちゃ差がある やんけ！成功！ 2.9%UP!
67. 67 ©BrainPad Inc. ワーク振り返り クライアントの意思決定レイヤーと担当者とで、期待するものが異なる場合があります。 BPのメンバーまでタスクが下りてきた時点で、複数層の伝言ゲームを挟んでいると考えてください。 発言 意図 DM施策ってお金かかっ てるけど利益でてるの？ ないなら今期中に改善策 が欲しい。ちゃんと効果 検証とかしようよ。 ざっくりでかまわないの でクイックにDM施策に 意味があるのかを知りた い。改善の方向性も考え たい。 ビジネスサイド 意思決定レイヤー DMの効果を調べてくだ さい！ これってもう一度実験と か必要だったりしますか ね？？ 分析には詳しくないけど、 効果を出せと言われた。 効果がないと詰められそ うだな～。 ビジネスサイド 担当者 因果推論で計算もできま すが、実験できるならし ましょうか。 DMの効果を正しく計算 し、報告しよう。設定的 にABテストはできてい ないので、因果推論が必 要かな。 データサイエンティスト PM おっ効果検証か～！ meta-learnerでCATEを 出そうかな。 学んだ技術を駆使して精 緻な数値を出そう。 データサイエンティスト メンバー 概算でもいいので投 資対効果を出し、早 めに判断したい 時間をかけて正確な アウトプットをだそ うとしている 乖離が発生
68. 68 ©BrainPad Inc. ワーク振り返り 依頼を分析作業に落とし込む前に、何を判断したいのか、そのために何の情報があると望ましいのかを提 案・合意できると理想的です。 いきなり分析すると、嚙み合わない分析結果に 分析初期のアクションとして意図を確認 先方の意思決定レイヤーにとってはあまり意味のない報告になったり、 BPとしても信頼を損なうおそれがある。 分析結果をどのように使うのか背景をヒアリングし、設計に反映させる。 あのキャンペーンの効果調べて キャンペーン群のほうが0.1%売上高く、 p<0.05で有意な差でした う～んでもそれってコストに見合っ てる？次の施策を改善するには？ あのキャンペーンの効果調べて 次のアクションて何を想定？ コストの情報ありますか？ ROIによっては停止の可能性もある けど、効果が高いセグメントが一部 でもあれば継続するよ
69. 69 ©BrainPad Inc. ワーク振り返り 施策のタッチポイントだけでなく、最終的な投資対効果を試算できると判断に役立ちます。 DM配布 開封・反応 来店 成約 反応率 1% 来店率 30% 成約率 50% 問合せ 問合せ率 80% • 想定成約数 10,000 × 0.01 × 0.8 × 0.3 × 0.5 = 12台 • 車両価格 ¥5,000,000 × 粗利率 15% = 一台あたり ¥750,000 • 粗利合計 750,000 × 12 = ¥9,000,000 10,000人 • 送付コスト ¥120/県 • CRM設計 ¥2,500,000 • クリエイティブ制作 ¥200,000 • 総コスト 120 × 10,000 + 2,500,000 + 200,000 = ¥3,900,000 見込み 利益 コスト 想定ROI = 9,000,000 – 3,900,000 3,900,000 ＝ 1.31 • 社内の基準値を満たすか • 過去のDM施策や他のチャ ネルと比べて高いか ※数値は仮想のものです
70. 70 ©BrainPad Inc. ケース課題①
71. 架空の事例に対して、チームで効果検証を行い、報告してください ケース課題①｜課題概要 • ワーク内容 ⁃ 架空の事例に対して、チームで効果検証を行い、報告し てください • 報告のイメージ ⁃ 講師をクライアントと見立てて、1チーム5分程度で報告 してください ⁃ クライアントにとって必要な効果検証を行うことが目的 で、報告・資料の体裁は重要ではありません • グループ分け ⁃ 同じ部署の人4~5人で行ってください （指定済み） ワーク概要 時間 • 14:00-14:15 課題説明 • 14:15-16:00 実習時間（休憩はご自由に） • 16:00-16:30 発表 • 16:30-17:00 解説
72. ECサイトのマーケティングチームが実施したメールクーポン施策の効果検証と次回施策の対象者の示唆出しを行う ケース課題① ｜課題の詳細（1/2） 背景 • クライアントはECサイトのマーケティングチーム • 先月、会員に向けてメールでクーポンを送付した。クーポン を通じて、当社サイトのロイヤリティを上げてリピート化を 促したい • また、本クーポン施策の効果が高ければ、今後も同施策を実 施したいと考えている 依頼内容 • 本施策の施策効果を検証 ⁃ そもそも何を施策効果とするのか ⁃ 実際の分析 • また、継続する場合は施策の対象者を決めたい その他の注意点 • クーポンは全商品に利用可能な5%オフクーポン • 同時期にプレミア会員向けの特別セールを実施していた • 可能であれば、このセールの効果を取り除いて検証し てほしいと言われている 状況設定 各チームの目標 DS • KPIとして設定すべき項目を適切に説明 • 全体の施策効果を求める • KPIとして設定すべき項目を適切に説明 • 全体の施策効果を求める • セグメント別の施策効果を求める DS以外
73. 会員情報と購入情報のデータから分析を実施 ケース課題① ｜課題の詳細（2/2） 購買情報（sales.csv） 会員情報（customer.csv） カラム名 customer_id join_date age region is_email_ok is_premier is_coupon is_special_sale 説明 顧客を一意に識別する6桁のID（PK） 顧客が会員登録した日付 顧客の年齢 顧客の居住地域 顧客がメール配信を許諾しているかどうか （1: 許諾、0: 拒否） プレミアム会員か （1: プレミア会員、0: ノーマル会員） 分析対象のクーポンの介入群 （1: 介入群、0: コントロール群） 同時期の特別セール対象フラグ （プレミアム会員が送付対象） カラム名 customer_id purchase_id purchase_date category 説明 購入者の顧客ID（PK） 各購入のユニークなID（PK） 購入日 購入商品のカテゴリ amount 購入金額 データ：[外部公開用_202507_効果検証_新卒研修資料 - Google ドライブ] https://drive.google.com/drive/u/1/folders/1CcNsPHw_dHQ0gmUxcn6yacox2SiPlG40 is_period_1 購入日がクーポン利用期間前であるか （1: 利用期間前、0: 利用期間） is_period_2 購入日がクーポン利用期間中であるか （1: 利用期間、0: 利用期間前）
74. ケース課題① ｜その他のルール 実習時間中のルール • 不明点は講師・TAに自由に質問してください • 質問の際、「BPの先輩宛て」か「クライアント宛て」かを 明確にしてください • LLMとの会話は自由です
75. 本日のご報告内容は「施策対象者全体の購入者数と利益額のアップリフト」と「アップリフトが高いセグメント」の2点 ケース課題① ｜解答例 1/2 本施策の背景と目的（弊社認識） 分析項目 背景 • クーポンを通じて、顧客のロイヤリティを高め、リピートを 促したい • そこで、半年に一度のクーポン施策をご検討中 本施策の目的 • 施策の効果を検証し、クーポンがどの程度の増益をもたらす かを明らかにしたい • 今後のクーポン施策に向けて、有効なセグメント選定の参考 としたい 短期のアップリフト • 施策対象者の施策によるアップリフト ⁃ 購入者数 ⁃ 利益額 • 会員の特徴に応じたアップリフト ⁃ デモグラ情報（年代・居住地） ⁃ 年間の購入頻度 長期のアップリフト • 対象者がリピーター化しているか • リピーターはクーポンなしでも購入するか 本日の 報告内容
76. 施策による短期の増益額は低く、クーポン送付を続ける必要はない ケース課題① ｜解答例 2/2 集計条件※ 施策効果の分析結果 対象者 • メール受信OKの会員 • ノーマル会員 （特別セールの影響を取り除くため） 期間 • ’25/2/1~2/28 全体 年代別 地域別 購入 頻度別 • 全体として増益は約88万円であった • 30代以上の会員は購入率のアップリフトが見られる • 厳密にテストするためには、再度ABテストが必要 • 栃木在住の会員のアップリフト率は見られるが、人数の少ないセグ メントなので、ここをターゲティングすべきではない • 過去1年間の購入頻度による施策効果の違いは見られなかった ※1 実案件でここまでは言い切るかは、クライアント事情を考慮して判断する ※2 サマリページに集計条件を記載するのは、実案件では非推奨
77. 効果検証前に、施策の目的・クライアントの部署のKPIをもとに分析項目を決定すべき ケース課題① ｜解説｜分析すべき項目 分析項目の例 考慮すべき点 本施策の目的はリピーターの増加なので、 まずは短期の利益額と購入者数の増加をKPIとしつつ、 半年後に長期の利益のアップリフトを検証 利益率 長期の 利益 多重検定 短期の施策効果は 売上×利益率ー施策コスト で評価すべき 施策が長期の利益を目的としていれば、 リピーター率で評価を行う 施策効果を深掘りすることで施策改善につなげ られるが、KPIを複数設定すると多重検定とな る サイト 来訪者数 購入 人数 カート 投入率 売上 購入率 短期の 利益 購入 金額 利益率 粗利 施策 コスト 利益 長期の 利益 購入 回数 1回 あたり 利益額 ❶ ❷ ❸ >>
78. 同質な比較対象に対して、クーポン配布によりKPIがどれだけ上昇したかを分析 ケース課題① ｜解説｜分析方針 分析方針 考慮すべき点（詳細後述） コントロール群とクーポン配布群を比較 比較対象が同質であるかを徹底して意識 購入率 • （群Xでの購入者数）÷（群Xの人数）で購入率を集計 ⁃ ただしクーポン利用期間での購入に限る • 母比率の差の検定を利用して、有意水準5%で有意差が出る かを分析 利益額 • 商品の利益率をヒアリング • 期間内の売上額×利益率×（1 – クーポン割引率）を算出 メール 受信設定 • メール受信設定を気にせずにクーポン配布群 を設定していた • 実際にクーポンを受信する人に絞って分析す べき 別セール • 大セール対象者のみを除くとバイアスが生じ る • 今回の施策目的を考慮して、ノーマル会員の みでの分析を行う 増収額 • 一部セグメントは購入率のアップリフトが大 きい • しかし、人数が少ない会員に絞ったクーポン 配布は増収額が小さい
79. メール受信設定NGの人たちは、クーポン配布群でもクーポンを受け取っていないため、分析の分母から外す ケース課題① ｜解説｜メール受信設定の影響を除く 効果検証の落とし穴 落とし穴への対処（Cはコントロール群、Tはトリートメント群） 背景 • トリートメント群のなかに、メール受信 設定NGの人が含まれている • 彼らはクーポンを受け取れないため、 クーポン効果の算出の分母から取り除き たい クーポン群のみからメールNGを 除く • 比較対象が同質になっていない C T メールOK NG 比較 メールNGも含めて比較 • 同質の集団で比較できている • しかし、メールNGの人は真の クーポン群ではないので、効果 が過少評価される コントロール・クーポン群からと もにメールNGを除く • 適切に評価できている C T メールOK NG 比較 C T メールOK NG 比較
80. プレミア会員に対して行っていたセールの影響を取り除くべき ケース課題① ｜解説｜別セールによる影響を取り除く 効果検証の落とし穴 落とし穴への対処（Cはコントロール群、Tはトリートメント群、濃色は大セール対象者） 背景 • プレミア会員向けの大セールを同時期に 実施 ➡ この影響を取り除くべき • 大セールの概要をヒアリングしたうえで、 分析方法を決定 大セールの概要 以下全ての条件を満たす人からランダム 50%に大セールクーポンを送付 • メール受信設定の会員 • プレミア会員 • 我々が分析するクーポンの未送付者 （大セール担当者が本施策に配慮してく れていた） コントロール群のみから大セール 対象者を除く • 比較対象が同質になっていない ノーマル会員のみで分析 • 同質の集団で比較できている • ノーマル会員の効果のみの分析 でも、施策目的に沿っている旨 をクライアントに説明 施策効果の加重平均を取る※ • ノーマル会員とプレミア会員の 施策効果をそれぞれ算出 • 母集団の人数に合わせて荷重平 均をとる C T ノーマル プレミア 比較 C T ノーマル プレミア 比較 C T ノーマル プレミア 比較 ※ E[Y(1) – Y(0)] = Pr[X=ノーマル会員]×E[Y(1) – Y(0) | X=ノーマル会員] + Pr[X=プレミア会員]×E[Y(1) – Y(0) | X=プレミア会員]を算出
81. KPIを購入率のアップリフトとすると、利益額が小さくなるセグメントを選択してしまうリスクを念頭に入れるべき ケース課題① ｜解説｜KPIの落とし穴 落とし穴への対処 効果検証の落とし穴 • 栃木在住の会員は購入率のアップリフトが高い • だが、会員数が非常に少ないため、実際の増益額は小さくなる KPIを適切に設定して 効果検証を行う 東京 神奈川 千葉 埼玉 栃木 購 入 率 の ア ッ プ リ フ ト ( ％ ) 人数 アップリフト率（縦軸）は大きいが、 人数（横軸）が少ないため、 増益へのインパクトは小さい 増益のイメージ
82. 82 ©BrainPad Inc. ケース課題②
83. 83 ©BrainPad Inc. ケース課題② （1/2） 以下の依頼に対して、①ブレインパッドのデータ分析者として理想的なアクションを考えてください ②どんな分析を行なうのがよいか、おおまかな設計をしてください。※次頁に追加情報があります プロジェクト背景：キッズ用品チェーンのESG施策 分析依頼：施策の売上効果を算出したい 企画本部長 企画部担当者 データ戦略部 経営推進室 ブレインパッド （データ分析者） 企画本部 報告先 ベビー・キッズ用品を取り扱うチェーン店を経営する企業のデータ分析 部署に常駐しています。 同社は数年前よりESG経営を強化推進しています。そこでオーガニック 製造やフェアトレードに対応した商品の場合、自社ECの商品ページに その旨を示す「ESG」タグを表示することとしました。同様にECサイ トのトップページにもESGの取り組みを紹介するバナーを設け、アピー ルを強化しました。 ECサイト上の企画立案を行う部署（企画本部企画部）から、先述のESG 施策に関する効果検証依頼がやって来ました。 担当者曰く「企画本部長からの指示で、この施策でサービスの売上がい くら増えたか効果を算出してほしい。なるはやで」だそうです。 また本件の背景ですが、企画部で担当者が分析したところ施策の効果は 出ておらず、なんとか出せないかとデータ戦略部に相談したとのこと。 依 頼 指示
84. 施策とデータの補足情報です。※データはこの課題では提供しません ケース課題② （2/2） 施策詳細 保有データ・実施済み分析情報 • 内容 • 商品ページにおける「ESG」タグの付与 • トップページにてESG取り組みのバナーを掲載 • 時期 • 2025年3月から実装し、現在に至る • 対象 • ECサイトを訪れた全ユーザー • そのほか • ABテストなどは行っていない • 商品マスタ • 会員マスタ • 購買履歴 • ECサイト上の行動ログ • その他いろいろ • EC全体の売上は、施策開始前後で増えていない！やば い！
85. ESG施策によって売上が上昇したか改めて分析、ポジティブな結果はやはりでていませんでした。そこで背景要因を深掘 り、施策の改善提案をしたところ本部長から「そういったことは求めていなかった」との返事が返ってきてしまいました。 ケース課題B – BAD END 売上効果検証 DIDにより前後の売上を比較 ESG施策の売上効果はないと判断 施策を改善するための基礎集計なども行い、報告 • 売上が上がったらうれしいけど、 そういう目的の施策ではないんで すよね… • 改善もできるといいけど、今は求 めてないですね… 企画本部長 微妙な反応・再分析へ
86. 分析を始める前に本部長に意向を確認すると、担当者の分析依頼が本部長の狙いをはずしていることが明らかになりまし た。問いを整理しなおすことで、限られた工数で必要なファクトを出すことができました。 ケース課題B – TRUE END 再度ヒアリング • 施策の目的と検証内容について、ある程度仮説を用意 • 本部長と以下のような議論を行う • いつまでに何を決めるのか • 施策の目的はなにか • （BPとして提案）決めるためにはXXが必要と考えているが、 論点の抜け漏れはあるか そもそも売上増加は施策の目的ではないと判明 ただし、経営上重要な指標である売上に 悪影響がないかは確認する必要があると合意 施策前後で該当商品の売上を比較し、 特別落ち込んでいないかをチェック 全社的にESGを押し出すのは規定路線 なので、ネガティブな影響がないかだ けクイックに報告する予定です。 企画本部長
87. 依頼の発端である企画本部長の意図を確認 ケース課題B – ネタバラシ 背景 ミスリード部分 • そもそも売上向上を目的とした施策ではなく、ESGのア ピールが目的。やるのが前提。 • そのため、施策による何らかの悪影響が確認できなけれ ば施策は継続する前提 • 売上の前後集計がミニマム、ESGタグをつけた商品の購 買者属性の変化があるとベター • 本部長から「これって問題とかない？続けていい？」と 聞かれた担当者が「施策によってちゃんと成果がでてい るか」と解釈 • BPに届くころには売上を計算する話となっていた
88. ここだけでも持ち帰っていただければ、この研修は成功です。 この研修で覚えてほしいこと 1 2 3 バイアスがあって当然。いかに背景要因を分 解できるかが腕の見せ所。 本当に測るべき効果は何なのか、結果から意 思決定がどう変わるのかを議論しよう。 1と2の質を高めるのは、ビジネスモデルやド メインに対する理解。努めよう。
89. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。 ©BrainPad Inc.