2 自己紹介 名前:安井翔太(32) 職業:Economic Research Scientist Data Science Center 副所長 経歴: 2011年 立教大学 経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) @housecat442
テック企業では常識 84 +1000 test /day +200 test /day 2013年に行われていたABテストの数 →1000 test/day in 2017 出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)
23回ABテストした結果・・・ ● 横軸:機械学習のオフラインでの予測能力の改善 ● 縦軸:ビジネスKPIの改善 ● オフラインの予測能力とビジネスKPIに関係無し Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). 89 残念なお知らせ@KDD2019