Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献

Slide 1

Slide 1 text

公開 © LY Corporation ファミリーサービスチーム安藤正和 Causal Impactを用いた LINE Pay UIの効果検証と ABテスト実施への貢献

Slide 2

Slide 2 text

公開 © LY Corporation 2 自己紹介名前安藤正和部署 DS統括本部 5本部分析3部ファミリーサービスチーム主な業務 LINE PayやLINE公式アカウント(無料スタンプ)周りのデータ分析業務近況 1年前に縁もゆかりもない札幌に引っ越した屯田兵 (居住地の変遷: 広島→大阪→群馬→東京→北海道)

Slide 3

Slide 3 text

公開 © LY Corporation Agenda 01 LINE Pay概要 02 Balance領域のUI変更 03 効果検証 04 まとめ 3

Slide 4

Slide 4 text

公開 © LY Corporation 01: LINE Pay概要 4

Slide 5

Slide 5 text

公開 © LY Corporation 5 LINE Payとは・2014/12にリリースされたLINEのモバイル送金・決済サービス

Slide 6

Slide 6 text

公開 © LY Corporation

Slide 7

Slide 7 text

公開 © LY Corporation 7 そしてサ終へ

Slide 8

Slide 8 text

公開 © LY Corporation 8 LINE Payの足跡 LINEプリペイドカードマイカラー制度 300億円祭 ※QRコード決済初

Slide 9

Slide 9 text

公開 © LY Corporation 02: Balance領域のUI変更 9

Slide 10

Slide 10 text

公開 © LY Corporation 10 WalletタブのBalance領域・LINE Payの過半数が、Walletタブから利用 Balance領域 LINE Payのメインタッチポイント遷移先にPay TOPがあるけど基本的な機能はBalanceで十分 Pay TOP

Slide 11

Slide 11 text

公開 © LY Corporation 11 Walletタブの開発・Walletの部署が管轄しており、LINEヤフーとして全体最適を目指したい LINE Pay以外のサービス達・Pointクラブ・マイカード・ギフト・クーポン (ライバルがひしめく頼もしい仲間が多いWalletタブ）

Slide 12

Slide 12 text

公開 © LY Corporation ・Walletタブから決済画面まで1タップ・画面の1/4程度を占有 Ver.3 12 Balance Ver.3 ⇨ Ver.4 ・展開式になり、決済までのタップ数が増加・(緑になった) Ver.4 展開前→ 展開後↓

Slide 13

Slide 13 text

公開 © LY Corporation 13 100%中の100%展開されたUI変更迅速な意思決定 ABテストモジュールがない (この時点で分析チームはUI変更のことを知らず)

Slide 14

Slide 14 text

公開 © LY Corporation 14 UI変更に対するユーザーからの声 UI改悪されて泣いたレジで開いて、あれ？支払うボタンなくなってない？って戸惑った LINE Payすごく見にくくなった…。 Wallet画面に表示されていたバーコードの階層を深くしたのは改悪バーコードを開くのに1タップ増え、どこを操作すれば良いかわからなかった

Slide 15

Slide 15 text

公開 © LY Corporation 15 UI変更の結果アイコンタップ数の変化率決済 -13% チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較

Slide 16

Slide 16 text

公開 © LY Corporation 16 UI変更の結果アイコンタップ数の変化率決済 -13% チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較＼(^o^)／

Slide 17

Slide 17 text

公開 © LY Corporation 17 UI変更の結果アイコンタップ数の変化率決済 -13% チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較＼(^o^)／ UI変更前後の3日間の結果比較 →統計的に効果のあるか不明

Slide 18

Slide 18 text

公開 © LY Corporation 18 そして、分析依頼へ

Slide 19

Slide 19 text

公開 © LY Corporation 03: 効果検証 19

Slide 20

Slide 20 text

公開 © LY Corporation ・LINE Pay側: LINE PayのKPIが著しく低下していた場合、UIの巻き戻しを検討・Wallet側: UIの巻き戻しは可能だが、ユーザーへの負担が少ない形を模索したい巻き戻す場合、LINE Payユーザーを対象に最適なUIを検証したい事業側の意見 20 ヒアリングと分析の目的 DSのやること UI変更によるLINE PayのKPIへの効果を定量化 UIの巻き戻しの意思決定に貢献すること(なる早で)

Slide 21

Slide 21 text

公開 © LY Corporation ・分析手法 Causal Impact(以下,CI)によるKPI予測値と実測値の差分比較・目的変数(KPI) コード決済額チャージ額送金額 21 分析デザイン

Slide 22

Slide 22 text

公開 © LY Corporation ・学習期間 2022/08/01 ~ 2023/08/15 ・予測期間(Balance ver.4適用後) 2023/08/16 ~ 2023/09/10 ・共変量・週周期性・月周期性・祝日・給料日・LINEポケットマネー返済日(チャージのみ) 22 Causal Impact コード決済額の予測値(青)と実測値(赤)

Slide 23

Slide 23 text

公開 © LY Corporation ・時系列モデルの予測値と実測値の差分つかって因果効果を推定する手法・CIを使う上での注意点・施策前後で共変量の分布が変化していないこと (共変量シフト) ・施策後に目的変数に影響を与える要因(施策など) がないこと 23 Causal Impact概要コード決済額の予測値(青)と実測値(赤) 参考文献

Slide 24

Slide 24 text

公開 © LY Corporation ・コード決済額は-5% ・チャージと送金は効果がなさそう ※1%未満の効果を検出できるとは思えない 24 分析結果 KPI リフト値コード決済額 -5.29% チャージ額 -0.893% 送金額 +0.020% CIによる推定結果

Slide 25

Slide 25 text

Slide 26

Slide 26 text

公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少・チャージと送金: - フィッティングから信頼性は乏しい・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し結果の要約 26 結果の報告と提案・UIの差し戻そう！ - 1⇨2タップになったことが要因・UI変更に伴う効果検証や意思決定の準備は予めしましょう！ - ABテストしましょう - 準備段階からDSを交ぜて提案

Slide 27

Slide 27 text

公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少・チャージと送金: - フィッティングから信頼性は乏しい・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し結果の要約 27 結果の報告と提案・UIの差し戻そう！ - 1⇨2タップになったことが要因・UI変更に伴う効果検証や意思決定の準備は予めしましょう！ - ABテストしましょう - 準備段階からDSを交ぜて提案報告の結果…

Slide 28

Slide 28 text

Slide 29

Slide 29 text

公開 © LY Corporation ・Target User - LINE Pay登録ユーザー・Group - C群: デフォルトでBalance領域が閉じた(非展開)状態 - T群: デフォルトでBalance領域を展開した状態 29 UI修正のABテストスペック C群 T群

Slide 30

Slide 30 text

Slide 31

Slide 31 text

公開 © LY Corporation 1. walletタブのBalance領域のUI変更が100%でリリースされた 2. ABテストされていなかったため、CIによる効果検証を行った 3. 仕様変更によって、コード決済額は明らかに低下していた 4. 分析結果と限界点も報告することで、UI修正のABテスト実施に貢献出来た 31 まとめ

Slide 32

Slide 32 text

公開 © LY Corporation ・分析で分からなかったことも報告したことでABテスト実施に貢献出来た - CIのコード決済額の結果だけ共有したら、ABテストにつながっていなかったかも - フィッティングや分析手法の限界点を材料に交渉できた・ユーザーの声も報告することで、結果の納得感を高めることが出来た - 数値だけでは分からない事業側にある仮説を補強するアイテムとしてVoCは有効 (ユーザーの声は面白いし、勉強になるので毎週読んでる) 32 今回の学び(良かった点)

Slide 33

Slide 33 text

Slide 34

Slide 34 text

公開 © LY Corporation ・展開UI群と非展開UI群でコード決済額に有意差なし・新規ユーザーに絞っても有意差ない・コード決済額自体はv4リリースから下がったまま・UI以外の要因が影響していそう・v4のリリースから4ヶ月以上経過 →非展開のUIのままでGo!! 34 Appendix: Balance UI修正ABテストコード決済額の累積推移青: 非展開群, 緑: 展開群