企業の中の経済学 2018 November 23-25 CyberAgent, Inc. All Rights Reserved 1

自己紹介 名前 : 金子 雄祐 職業 : データサイエンティスト 経歴: 2012年 東京大学文科II類入学 2016年 東京大学経済学部卒業 2018年 東京大学経済学研究科統計学コース卒業 2018年 CyberAgent入社．アドテク本部へ配属 使用言語 : Python, R , SQL, (Scala , Go , Spark) blog : https://cold-start-problem.hatenablog.com/ 趣味 : Kaggle (Kaggle Expert) 2

今日の話の流れ 1. Tech企業と経済学 2. 経済学と因果推論 3. インターネット広告とは何か？ a. アドテクとはなにか？ b. 広告が表示されるまでの流れ(RTB) 4. アドテクと因果推論 a. アドテクとRCT b. AIと因果推論 5. サイバーエージェントでの研究事例紹介(Off-Policy Evaluation) 6. まとめ + 余談 3

会社について 4 サイバーエージェントの事業一覧 ここの仕事をしてます

5 Tech企業と経済学

経済学者を雇うTech系企業 6 ネット広告関連企業

実際の求人例(FB) 7 ● FBの求人 ● 求人内容 1. 研究者 2. 経済学 3. 実験設計 4. 因果推論 1 2 3 4

実際の求人例(MS) 8 ● MSの求人 ● 求人内容 1. 研究者 2. 経済学 3. 因果推論 4. 計量経済学 5. 機械学習(人工知能) １ 3 4 2 5

求人例から見えること 9 ● 経済学系の研究者の求人(基本的に研究者だと CS系，統計系，経済系の求人が多い ) ● (計量)経済学 + 因果推論 ● (計量)経済学 + 機械学習 研究者 経済学 因果推論 計量経済学 機械学習 経済学と因果推論，そして機械学習 (人工知能)がどう関係するのか？

10 経済学と因果推論

例: 東大入学に効果はあるか? 11 Q: 東大に入学したら平均年収は上がるのか？ 平均年収 600万円 平均年収 500万円 東大入学 他大学入学 この差が 入学の効果？

例: 東大入学に効果はあるか? 12 Q: 東大に入学したら平均年収は上がるのか？ ● 他の理由が入学と年収に効果を与えている可能性がある (例 : 親の年収，遺伝 etc …) ● この場合，年収の差そのままが東大入学そのものの因果効果 とは言えない ● つまり，東大入学と年収には 相関関係があるが，それは因果関係とは解釈できないということ ○ それではどうやって比較するのか？ 年収 ↑ 年収 ↓ Other Reasons (親の年収 , 遺伝 etc)

方法1 : RCT 13 Q: 東大に入学したら平均年収は上がるのか？ ● １つの方法は，「学生をランダムに東大 or 他の大学に入れる」という実験をすること ○ ランダムにすれば，大学入学以外が年収に与える要因は消える ○ この方法はRCT(ランダム化比較試験 )と呼ばれる ● しかし実際には大学入学のようなケースでこのような実験は社会的に実施不可能 ○ 社会的なコストが高すぎる． RCTを実施できないケースは社会に溢れてる

方法2 : 因果推論 14 Q: 東大に入学したら平均年収は上がるのか？ ● もう１つの方法は，因果推論という手法を用いること ○ RCTが実施できないケースは社会に溢れているため，特に (計量)経済学で発展してきた ● 例えば，以下のようなやり方で 同じような質の学生を比べる ○ 親の年収や能力などが同じような学生のみを上手く抽出して差を調べる ○ 東大にギリギリ落ちた学生とギリギリ受かった学生の差を調べる 同質 入学効果は +5万円 ! 因果推論

15 インターネット広告とは？

Webページ内の広告 16 ● 2018年ノーベル経済学賞の記事 ● 赤い枠線内の部分が インターネット広告 ● 掲載メディアのインセンティブ ○ 広告がクリックされると金銭 ○ 従って，興味を惹く記事を出したい ● 広告をどんな仕組みで出しているのか？ ● ネット広告が満たすべき性質 ○ 即座に広告を出さないといけない ○ クリックされやすい ○ 広告内容( = 商品)への興味を惹く ● 上の問題をテクノロジーで解決する = 広告(アド) × テクノロジー = アドテク 出典:https://www.yomiuri.co.jp/economy/20181008-OYT1T50089.html これが広告

広告表示の流れ(RTB) 17 出典:https://www.yomiuri.co.jp/economy/20181008-OYT1T50089.html <タグ> ● 広告が表示される場所(=広告枠) ● いわゆるタグが埋め込まれている ● javascriptなどのプログラムで動作

広告表示の流れ(RTB) 18 <タグ> SSP ● サイトへアクセスがあると、リクエストが送信 ● SSPという広告取引のための オークション主へのアクセスが行われる．

広告表示の流れ(RTB) 19 <タグ> SSP DSP DSP DSP ● SSPがDSP(=広告自動配信 システム)に入札リクエストを 送る． ● 入札リクエストの中身 ○ 表示日時 ○ 表示サイト ○ ユーザーのOS ○ ユーザーのデバイス ● 各DSPは様々な企業と契約 ○ 広告クリックなどでDSP は企業から金銭を得る

広告表示の流れ(RTB) 20 <タグ> SSP DSP DSP DSP クリック率: 0.5% 入札額: 80円 クリック率: 1% 入札額: 100円 クリック率: 1.2% 入札額: 150円 過去のクリック情報から機械学習でクリック率予測を行い入札額を決定 Bid = CTR × Value ● Bid = 入札額 ● CTR = 予測クリック率 ● Value = クリックの価値

広告表示の流れ(RTB) 21 <タグ> SSP DSP DSP DSP クリック率: 0.5% 入札額: 80円 クリック率: 1% 入札額: 100円 クリック率: 1.2% 入札額: 150円 入札額を送信し勝者が 2番目に高い額で落札，広告表示．クリックされたメディアにも金銭 = 第２価格オークション (今回は触れないが，経済学理論に基づくもの ) 100円 80円 150円

22 アドテクと因果推論

RCT = The Gold Standard 23

アドテク企業でのRCT 24 ● そもそも海外のアドテク企業では RCTを盛んにやっている ○ 広告のサイズを変更した時にクリックは増えるのか？ ○ デザインを変えた時に検索はどうなるのか？ ● 上記の項目は全て企業の収益に直結する 上に，RCTを行うのは特にネットでは容易 ● しかし，ネットでもRCTが出来ない例がいくつか有り，その一つが AIの評価 ○ そもそもAIとは？ 1000 test/day 200 test/day

AIとアドテク ● 今はAI全盛の時代(例: ビッグデータ , ディープラーニング etc … ) ● アドテク業界でもAIは用いないといけない(大量のリクエスト処理のため) ○ クリック率の予測 + 何円で入札するか? ○ クリック後の商品購入率の予測 + どんな広告を出すか? 25 ”AI”とは？ AI = 機械学習による予測モデル + 意思決定ルール

例 : AIの更新 26 x candidates a,b,c,d b Y_b ● ユーザーに対して広告画像を表示する ● ユーザーの情報Xを得て、選択肢{a,b,c,d}に対してクリックされるか否かの予測を行う。 ● 予測クリック率が最大の選択肢を選ぶ ● クリックされたか否かの結果 (Y)を観測する ● 選ばれなかった画像に関しての結果は観測不能 Predict + decision AI Y_a 観測不可能 a

例 : AIの更新 27 x candidates A = {a,b,c,d} b Y_b Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Y_b Predict + decision モデルの学習と更新 1日この仕組みを回す 翌日は更新したモデルで回す データの蓄積

例 : AIの更新 28 x candidates A = {a,b,c,d} b Y_b Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Predict + decision 1日この仕組みを回す 更新したモデルで回す データの蓄積 new system c 蓄積されたデータから 新AIを作る → 旧AIと新AIの比較を どうすればいいのか？

AIの評価と因果推論 29 ● AIの評価も本当はRCTで行いたい ○ しかし，AIの試したいパターンというのは上記の通り何通りも存在する ○ 非常に多くのユーザーや広告がいるアドテク市場だと，その組み合わせは何十万通りにも ● これらのAIをRCTで評価しようと思うと非常にコストがかかる 1. 効果がわからないAIを実際のシステム上で動かさないといけないリスク 2. 実験のための十分なサンプルを得られない ● つまり，AIのRCTは企業にとっても非常にコストがかかる ○ 低コストでかつAIの評価を正しくできる方法はないのか？ → 因果推論！ too many patterns...

30 Off-Policy Evaluation

Off-Policy Evaluation 31 ● 過去ログに対して新規のAIに意思決定を行わせる ○ つまり新規AIを実システムで運用する必要がない ○ したがって，コストが低く済む ● 意思決定が一致する物は結果の観測が出来る ● 結果が一致しない物は観測が出来ない ○ いわゆる欠測変数の問題 X 結果 X1 1 a d X2 1 d d X3 0 c c X4 1 a a X5 1 b c 評価 - 1 0 1 - 旧 新 AI

Off-Policy Evaluation 32 ● 旧AIと新AIの性能を比較したい ● 旧AIについては全ての観測値が得られる ○ 旧AIについては、得られている結果について全 て平均を取れば性能になる X 結果 X1 1 a d X2 1 d d X3 0 c c X4 1 a a X5 1 b c 評価 - 1 0 1 - 旧 新 AI

Off-Policy Evaluation 33 ● 新AIについては、左の赤い部分のみ観測可能 ○ 赤い部分についての結果のみ平均して平均を取 ればいい? ● 左の赤い部分は，全体のデータからのランダムサンプ ルになっているわけではない ○ よって因果推論が必要に ○ 理論的には、Inverse Propensity Score、 Doubly Robust Estimationなどの手法を使う X 結果 X1 1 a d X2 1 d d X3 0 c c X4 1 a a X5 1 b c 評価 - 1 0 1 - 旧 新 AI

OPEのメリット 34 ● 左はイェール大学と CAの共同研究論文 (AAAI 2019 accepted) ○ OPEにおいて，統計的に最もバラツキが 少ない推定手法を提案 ○ つまり．画像選択アルゴリズムの機能が より改善するような手法 を提案 ● 論文内では，CAの実際の広告配信データを 使って効果を検証 ○ 従来手法に比べて広告のクリック率が約 10 ~ 15%上昇するという検証結果になっ た Yale 助教授 CA researcher

OPEのメリット 35 ● OPEには，以下のようなメリットがある 1. 日々蓄積される旧AIの過去ログを使えば良いので新 AIの実装コストが低く済む 2. 効果のわからないAIを実際に運用するリスクを回避できる 3. 擬似的なRCTも可能．つまり，選択肢の評価も同時に可能． ■ 1つの画像のみを選択する AIをa ~ dの4つ分用意してOPEの結果を比較すれば良い ● このように，サイバーエージェントでは因果推論 & 経済学でAIの改善を行なっている

36 まとめと余談

日本のTech企業と経済学 37 Q: 海外のtech企業では経済学者を雇うけど日本ではどうなの？ 海外 日本 ● 残念ながらCAを除いてほとんどないのが現状 ● CAのアドテクスタジオというアドテク部門の中に AI Labという研究組織がある ○ 国内には珍しく，経済学部門が存在 ○ AI Labには他に画像認識部門や機械学習部門、ロボット部門などが存在

余談 2018年の論文: テクノロジー企業における経 済学者(と経済学) 38 Susan Athey: マイクロソフトの主任経済学者 スタンフォード教授 経済学 × AIの分野の第一人者

余談 39 ● 今年のKDDという機械学習のトップレベルの世界会議 ● 人工知能系の最高レベルの学会の基調講演者がノーベル経済学賞受賞者の Alvin Roth ● 2015年はSusan Atheyも基調講演 ● こんな感じで，Computer Science と 経済学の融合は海外で特にすごく進んでいる

余談 40 ● 少なくとも広告/アドテク系ならしばらくは食いっぱぐれない気がする ○ アドテク業界なら先述の定義の AIはまず無くならないし，となると AIの評価もしたい ○ あとは広告の因果効果とかもみんな気になってる（そういう研究もあります） ○ 実際，海外の機械学習系の学会でも因果推論 + 機械学習は流行りつつある ● 大学でやる研究と民間企業でやる研究の違い ○ (そもそも僕は研究やってないですが )金になるテーマをやんないといけないのが大変かも ○ 要は業界について理解してないと「何が金になるか」もわからない ○ その上で，大学の先生などと連携して研究とかなるとハードだと思います ○ 金になる研究を探すのにも経済学的なセンスが役立つと思います ● 特にプログラミングやってこなかったのに 1年目にコード書くの辛くないの ○ 結構楽しい ○ なんだかんだ企業入ったら頑張って仕事することが勉強になります ● 今後どんな研究あると思う ○ 「より大きな因果効果を得られる選択肢は何か？ 」を探すという話になると思います ○ 今から頑張るならそういう視点で研究してみるのもありかも Q. 企業で経済学やるって実際どうなの