Adjustを利用したmobile app tracking 公開用資料 at NTT Tech Conference 2023

Slide 1

Slide 1 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. Adjustを利用したモバイルアプリの流入計測について NTT DOCOMO Inc. イノベーション統括部大月　魁 2023/03/24 1

Slide 2

Slide 2 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 導入 2023 自己紹介部署 © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 2

Slide 3

Slide 3 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 元々は Java を使ってOSSの活動としてブロックチェーンシミュレータ (SimBlock) の開発などをしていました。イノベーション統括部事業化第二担当に所属。現在は主にGoとGoogle Cloudを中心に、投資管理アプリ「マイトレード」のバックエンド開発を行なっています。また、ブロックチェーンデータの取り込み基盤構築に取り組んでいます。資格・外部発表 ● Google Cloud Certified Professional Cloud Architect ● CryBlock 2019, “Simblock:A Blockchain Network Simulater” ● Aintec 2019, “Effects of Relay Networks on the Bitcoin Network” ● IEEE Blockchain 2020, “Quantitatively Analyzing Relay Networks in Bitcoin” ● IEEE Access, “Impact of Saving Strategy in Blockchain Conensus” ● ソフトウェアデザイン誌 2020年9月号記事執筆 ● 2021年度年間最優秀研究賞 IA研究会 About me 3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. マイトレのメイン機能の実装は別に、流入測定計測ツールを導入して利用しているので、その導入から実装、その後の活用法について。目次 1. 背景知識 2. Adjustの導入実装 3. 流入計測データのクラウド/自社サーバへの蓄積 4. マイトレードでのデータ活用について今日のテーマ 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 流入測定とは [1] App Store Review Guidelines https://developer.apple.com/jp/app-store/app-privacy-details/#user-tracking [2] How mobile app tracking is changing https://www.singular.net/blog/mobile-app-tracking-future/ 広告効果測定や最適化などの目的のために、どの媒体／どのリンク／どの広告から来たのかを計測すること、またそのデータを活用してサービス改善などに活かすこと。 9

Slide 10

Slide 10 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. Adjust/Appsflyer インストール+アプリ起動広告をクリック+アプリストア Webの世界 Webの外の世界ブラウザで完結する web系の流入測定と異なり、ここで世界が隔絶されてしまうため、 Adjust/Appsflyer等を使わないと、installと広告を紐づけられない。 10

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 決定的手法 Impressionやclickの際にdevice IDや広告IDなどの一意なIDを取得して、これをインストール時に取得した device IDや広告IDと比較して紐づける。当然精度が 100%。基本的にはこっちの手法が使われる。確率的な手法 iOS14のトラッキング可否ポップアップなどによって広告 IDが取れるケースが30%~40%など非常に下がってしまったため、生まれた代替手法。デバイス ID以外の情報（デバイス名・種類、 OS、OS version、IPアドレス、 User Agent）などの情報を利用して非決定的に突合する手法。突合の仕方 12

Slide 13

Slide 13 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 計測プラットフォームの必要性個人でこれらをやるのは難しいのでプラットフォームを使う。 - Device IDなどの情報を集積して判定する。 - 各広告PFとの連携実装 - 突合アルゴリズム - 複数のインプレッションやクリックがあるときどこを正とする？ - どの期間までインプレッションやクリックを有効にする - etc… 13

Slide 14

Slide 14 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. アプリへの実装と基本設定 2023 Adjust SDK 広告PFとの連携 © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 14

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. SDK 1. アプリの初回起動時に install計測に必要な情報 2. イベント計測情報 - インストールを計測したり、アプリ上のイベントやセッション情報を計測するために SDKを組み込む実装が必要。 - mobile系のSDK - Objective-C: https://github.com/adjust/ios_sdk - Java: https://github.com/adjust/android_sdk - Flutter: https://github.com/adjust/flutter_sdk 計測のために Adjust servers アプリ 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. パートナー設定をした広告PFのみインストールの流入測定を行うことができるので、広告を出したいPFごとに設定が必要。広告PFとの連携 Adjust servers 広告PF 1. 情報送信 Adjustからパートナー設定済みの広告PFにアプリを起動したすべての端末の広告ID や、タイムスタンプやデバイスIDなどを送信する。 3. インストール判定結果を受信インストール判定結果。どのインストールが、どの広告PFのどの広告でクリックされたかわかる。 2. インストール判定広告PFは、送られたデータ(広告クリックタイミングやデバイス情報等)が自広告PFの広告が押されたものかを内部判定する。 19

Slide 20

Slide 20 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. PFごとに設定は異なるが、基本的には以下の手順で設定する。 1. 管理画面上で広告PFと連携する a. 広告アカウントのIDを使って連携: Google ads, Line, Apple search ads, Facebook b. 広告アカウントログインして連携 : Twitter 2. 管理画面上の設定をする a. Install conversion b. Session conversion c. 課金転送 d. イベント転送 e. リアトリビューション設定 3. 広告PFページ側で許可設定などをする 4. 管理画面上に数値が反映されるようになる設定手順 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 単体テスト的なことができないので、基本統合テストになる。網羅性が肝 Adjust基本実装の所管 Dev Prod Sandbox Sandbox 本番本番 install 各種イベントリンク permission uninstall 各種イベントイベントの条件広告連携データ集積広告PFとの連携 1. Adjust上の計測値と広告 PF上の値が合わない a. 以下の要因で合わなかったりする。 b. 計上日の定義の違い、ラストクリック、アトリビューションウィンドの違い、タイムゾーン 2. iOSのインストール値や流入値が入ってこない a. skAdnetworkの影響でランダムに 24時間から48時間程度計測が遅れたりする。 b. iOSから流入がすぐに入って来なくても焦らず。 3. アンインストールが計測されない a. sandbox環境でテストするとアンインストールは残念ながら計測できない。 b. dev環境用のadjustプロジェクトを作って計測実験するのがおすすめ。 22 環境 release mode debug mode debug mode release mode

Slide 23

Slide 23 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 計測データのクラウドへの蓄積 2023 仕組み構成 © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 23

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 指定したURLに対してGET構文リクエストの形式でデータを送信する。その際に、指定したパラメタについてクエリパラメタの形式で取得できる。指定できるパラメタはこちらから見つかる。 https://partners.adjust.com/placeholders/ https://serverendpoint.com/mobile_attribution?adid={adid}&created_at={created_at}&event_name={event_name} Raw Data Export Adjustが計測したインストール情報をリアルタイムで転送する仕組み 25

Slide 26

Slide 26 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. GETリクエスト形式で生データ送信システム構成図主な理由 ● いわゆる典型的なevent-drivenなETL ● FaaSを使うのが定石。プラスアルファ ● 極力管理コストを下げるために、 managed系を採用。 ● 言語はGolang ● hardware周りの制約も特になし。 ● コスト観点でCloudRunではなくて、Cloud Functionsを採用。 Adjust servers Extract Validation Transformation Load install・events データを格納可視化 Analyticsのデータなど他のデータと突合して分析・可視化など 26

Slide 27

Slide 27 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 集めたデータの使い道広告最適化可視化データ分析 2023 © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 27

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. Adjustによる広告最適化問題点: インストールしてくれるユーザが必ずしも課金に繋がらない。解決策: Adjustのデータを使い、適切に広告最適化して広告を打つ +適切にターゲットやキーワード広告媒体を設定する。 Adjustからの情報を元にチューニングを行うことで、適切なターゲットに広告を打ち出すことができる。 1. 課金などターゲットにつながるユーザを獲得することで、着実に課金ユーザの数を伸ばしている。 2. インストール単価の減少による広告費の削減 /費用対効果の向上。 30

Slide 31

Slide 31 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. チューニング 1. Install形広告を打てばインストール数は入ってくる 2. adjust側で連携していると、広告PF側でAdjust計測したイベントを元に、自動で学習して広告最適化できる 3. そこのプラットフォーム上である程度溜まってくると、ただ投資好きに打つだけではなくて、よりターゲットに近いユーザに広告を出すようになる。 4. 付随して、キーワード設定やクリエイティブを切る、続けるを判断していくと、学習のサイクルにのせることができる。 a. プラットフォームの多さ b. クリエイティブを色々作ってダメならすぐ削ぎ落とす。 c. 配信面の最適化: 検索面、ディスプレイネットワーク etc d. KPIやキーワード最適化 31

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 問題点: 1. データ分析者以外でも手軽にデータを見れるようにしたい 2. Adjust外のデータとの突合データが見たい。解決策: Looker studioを使って可視化データの可視化結果 1. データ分析者以外でも大雑把な理解ができる。（マーケティングデータの民主化） a. KPIなどを見る習慣をチーム内で作ることができた。（daily scrum） b. bigqueryとか叩けない、dashboardが分かりにくい場合でも見やすい。 2. ここを見れば必要な情報がわかる！という意味で認知負荷を下げられる。 3. 突合により細かな分析データまで描画できる。 33

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 終わりに 2023 まとめ参考文献 © 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 39

Slide 40

Slide 40 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. - モバイルアプリにおける流入測定には技術的な難しさがある。 - Adjustなどのツールを利用し、SDK実装をアプリ実装に組み込むことで流入測定を行うことができる。 - Raw Data Exportなどの機能を使ってサーバにデータを集積できる。 - 蓄積したデータの利用法 - 広告最適化 - 可視化 - データ分析まとめ 40

Slide 41

Slide 41 text

© 2023 NTT DOCOMO, INC. All Rights Reserved. NTT DOCOMO Confidential. 参考文献 [1] App Store Review Guidelines https://developer.apple.com/jp/app-store/app-privacy-details/#user-tracking [2] How mobile app tracking is changing https://www.singular.net/blog/mobile-app-tracking-future/ [3] FlutterSDK: https://github.com/adjust/flutter_sdk [4] The design do’s and don’ts for getting the user opt-in on iOS 14.5+: https://www.adjust.com/ja/blog/opt-in-design-for-apple-app-tracking-transparency-att-ios14/ [5] Adjust placeholders list: https://partners.adjust.com/placeholders/ [6] Adjust: https://www.adjust.com/ja/ [7] Appsflyer: https://www.appsflyer.com/ja/ [8] Kochava:https://www.kochava.com/ [9] Serverless: https://cloud.google.com/serverless [10] Cloud functions vs CloudRun: https://cloud.google.com/blog/products/serverless/cloud-run-vs-cloud-functions-for-serverless?hl=en 41