continuous growth of the service

Transcript

1. サービスを 継続的に成長させるために 2019/07/18　Growth Engineering Meetup #2 クックパッド株式会社　会員事業部　Yuki Miida
2. 自己紹介 Yuki Miida (@miichan_ocha) クックパッド株式会社 会員事業部　事業推進グループ サービス開発エンジニア (＊growth engineerという職種はない) iOSアプリの開発 A/Bテストの設計、データ分析 etc...
3. 料理レシピ投稿・検索サービス 「クックパッド」 国内の月間利用者数： 約5,500万人 国内レシピ数： 約310万品
4. 「クックパッド」のプレミアムサービス ・ 月額280円(税抜) * のプレミアムサービス * iTunes決済の場合 月額400円(税込) ・「人気順検索」「殿堂入りレシピ」などの機能が利用できる ・ プレミアム会員数：約200万人
5. 今日お話すること • 自分が思うGrowth Engineerの役割。 必要だと思うスキル・知識。普段やっていること。 • 質と速度を両立させた仮説検証で、 良い学びを積み重ねるための取り組み。
6. 自分が思うGrowth Engineerの使命 サービスを継続的に成長させること
7. サービスを継続的に成長させるために Growth Engineerが担う役割 色々な役割があると思う。 例えば： 「組織全体のサービスの意思決定の質を高める」 サービスを継続的に成長させるため、組織のメンバー全員がデータを 正しく解釈し、それを活用して質の高い意思決定ができる状態にする
8. そのためには • データを集め（収集）、それを意味付けする（解釈） • 意味付けしたデータを分かりやすく伝える（伝達） 力を鍛え続けていくことが必要。
9. Growth Engineerに必要だと思う スキル・知識 特定の領域にとらわれない幅広いスキル・知識。 データ収集、分析力・ 統計学の知識 行動経済学・認知心理学・ マーケティングの知識 可視化・ レポーティング力 なぜユーザーはそのように行動したのか 簡潔に分かりやすく共有・報告する
10. それに加えて サービスのドメイン知識の深い理解も必要 データ収集・分析スキル・統 計学の知識 行動経済学・認知心理学・ マーケティング 可視化・ レポーティング力 ドメイン知識の深い理解 不足していると、データを誤って解釈してしまったり、解釈し たデータを意思決定に役立つ形で伝えることができなくなっ てしまう サービスに対する深い理解が 全ての土台になる
11. 自分が普段やっていること① • 技術に関するインプットに加え、マーケティングや行動経済 学などの本も読んで幅広い知識をインプット 読んだ本の例：「ジョブ理論」https://www.amazon.co.jp/dp/4596551227 大学時代は情報科学専攻・経営学副専攻だったので、意識せずとも幅広い 分野の本を読む習慣が身についていた気がする • インプットした知識を業務で取り入れてみる マーケティングや行動経済学の本を読む ➔ データを意味付けする際に取り入れてみる
12. 自分が普段やっていること② • 内側からのサービスの理解 時にはオペレーション業務をやってみたり 過去の知見を学んだり聞いたり • 外側からのサービスの理解 普段使わないプラットフォームで自社アプリを使ってみる 自社以外のアプリを色々使ってみる（自社サービスの理解も深まる） 時にはデジタルから離れてみる
13. ここまでの話 • Growth Engineerには、特定の領域にとらわれない幅広いスキル・知識、サービ スのドメイン知識に対する深い理解が必要だと思う。 普段から幅広い分野の知識をインプットして、それを実践していく 色々な角度からサービスに対する理解を深める • データを集め（収集）、それを意味付けし（解釈）、意味付けしたデータを分かりや すく伝える（伝達）力を鍛え続けていく。 組織のメンバー全員がデータを正しく解釈し、それを活用して質の高い意思 決定ができる状態にしていく
14. 質と速度を両立させた仮説検証で、 良い学びを積み重ねるための取り組み
15. 質と速度を両立させた仮説検証で、 多くの良い学びを積み重ねていく サービスを継続的に成長させるためには、 質と速度を両立させた仮説検証を繰り返して、良い学びを積み 重ねることが大切だと思う。
16. 良い学びを積み重ねることができると • 次に行う施策の優先順位付けができる • 新たな仮説の方向性を定めることができる 仮説A 仮説B 学び 学び 学び
17. 仮説検証で良い学びを積み重ねるためには • 仮説検証の質と速度のバランスが重要だと感じる 質のみを追求すると -> 検証のスピードが遅くなり、学びを積み重ねることができなくなる 速度のみを追求すると -> 設計や測定が雑になり、良質な学びを得ることができなくなる 時間をかけるべきところにはしっかりと時間をかけ、高速化できるところは積極的に 高速化していく
18. 仮説検証を質を保ちながら高速に行い、 良い学びを積み重ねるために取り組んでいること 実装 設計 測定 3つのパートに分けて話します。
19. I. 設計 【質を追求】設計は入念に時間をかけて行う。 KPIの設定、検証後のアクションの決定など、仮説検証の設計 をしっかりとする。 ここが雑になってしまうと、実装で出戻りが発生したり、効果測 定時に十分な学びが得られなくなってしまう。
20. I. 設計 時間をかけてやっているところ • 検証の目的・内容の明確化 • KPIの設計、関連指標の確認 • (A/Bテストを行う場合) 対象者の決定とサンプルサイズの見積もり • 次のアクションの決定 ◦ 結果が出てから考えるのではなく、設計の段階で結果が出た後のアクションを考えておく
21. II. 実装 【速度を追求】実装は自動化やライブラリ整備などで高速化でき る余地がたくさんある。定型化・自動化できる作業を積極的に発 見し、実装コストを下げる仕組みをつくる。 例： A/Bテストの実装を高速に行えるようにする ログの収集・送信を仕組み化する
22. II. 実装 - 社内事例：A/Bテストの実装 Chanko: プロトタイプを高速に開発できるRailsプラグイン https://github.com/cookpad/chanko これをA/Bテスト用に拡張して使っている。 モバイルアプリ（iOS/Android）にも、A/Bテストをしやすくする仕 組みがある。
23. II. 実装 - 社内事例：ログ収集 Hakari2：一時的なログを簡単に仕込める社内ツール。 Puree：モバイルアプリ用ログ収集ライブラリ https://techlife.cookpad.com/entry/2018/02/28/113000 ログのバッファリング、リトライ機能などがある。
24. III. 効果測定 【質を重視するところと高速化できるところを見極める】 仮説検証を高速に行えば行うほど効果測定の時間的余裕はなくなっていくが、質を 重視すべきところを雑にしてしまうと、十分な学びが得られない。 必要十分な質を保ちながら、できるだけ低コストで効果測定を 行える仕組みづくりをする必要がある。
25. III. 効果測定 - 社内事例① 【自動化】集計が自動化されたダッシュボード 送ったログのパターンをコンソールで登録すると、集計が自動で 行われ、ダッシュボードで見れるようになる。 その数値をもとに確率分布が描画されたり、時系列での推移も 見れたりする。
26. III. 効果測定 - 社内事例② 入会経路別の推移を見るダッシュボード 全ての入会導線にはログが仕込まれていて、各経路からの入 会数の推移が確認できる。 新規導線の効果だけでなく、他の入会導線の数値が落ちてい ないか、新規導線からの入会が全体の入会数の向上につな がっているかなどを簡単に確認することができる。
27. III. 効果測定 - 社内事例③ 【分析の簡略化】モバイルセッションID 先程の集計だけでは、2点を直線で繋ぐような分析しかできず、 その前後にどのような行動をしていたのかが分からない。 入会 ボタンタップした 入会 ある画面の入会導線をクリックした
28. III. 効果測定 - 社内事例③ : モバイルセッションID モバイルアプリでは、自動生成したモバイルセッションIDと、イベ ントの発生順序を表すシーケンスをログに付与して各テーブル に送っている。 ログテーブルA ログテーブルB ログテーブルC id = abc sequence= 1 id = abc sequence= 2 id = abc sequence= 3
29. III. 効果測定 - 社内事例③ : モバイルセッションID • 集計したいログが複数のテーブルに保存されていても、モ バイルセッションIDでグループ化できる。 • 時刻ソートから、シーケンスのソートに。 結果、あるアクションの前後にどのような行動をしていたのかを 簡単に集計・分析できるようになった。
30. III. 効果測定 時間をかけてやっているところ • 検証の結果得られたデータの意味付け・解釈 • KPIの改善がKGIの改善につながっているか • 仮説検証で得た学びの共有・ストック
31. まとめ • Growth Engineerに必要なスキル・知識は多岐にわたる 幅広い知識のインプットと実践、サービスに対する深い理解を 自分は大切にしている • 仮説検証は質と速度のバランスが重要 質を重視すべきところと高速化すべきところを見極めて、 良い学びを積み重ねていく
32. ありがとうございました クックパッド株式会社　Yuki Miida