continuous growth of the service

by Yuki Miida

Slide 1

Slide 1 text

サービスを継続的に成長させるために 2019/07/18　Growth Engineering Meetup #2 クックパッド株式会社　会員事業部　Yuki Miida

Slide 2

Slide 2 text

自己紹介 Yuki Miida (@miichan_ocha) クックパッド株式会社会員事業部　事業推進グループサービス開発エンジニア (＊growth engineerという職種はない) iOSアプリの開発 A/Bテストの設計、データ分析 etc...

Slide 3

Slide 3 text

料理レシピ投稿・検索サービス「クックパッド」国内の月間利用者数：約5,500万人国内レシピ数：約310万品

Slide 4

Slide 4 text

「クックパッド」のプレミアムサービス・月額280円(税抜) * のプレミアムサービス * iTunes決済の場合月額400円(税込) ・「人気順検索」「殿堂入りレシピ」などの機能が利用できる・プレミアム会員数：約200万人

Slide 5

Slide 5 text

今日お話すること ● 自分が思うGrowth Engineerの役割。必要だと思うスキル・知識。普段やっていること。 ● 質と速度を両立させた仮説検証で、良い学びを積み重ねるための取り組み。

Slide 6

Slide 6 text

自分が思うGrowth Engineerの使命サービスを継続的に成長させること

Slide 7

Slide 7 text

サービスを継続的に成長させるために Growth Engineerが担う役割色々な役割があると思う。例えば：「組織全体のサービスの意思決定の質を高める」サービスを継続的に成長させるため、組織のメンバー全員がデータを正しく解釈し、それを活用して質の高い意思決定ができる状態にする

Slide 8

Slide 8 text

そのためには ● データを集め（収集）、それを意味付けする（解釈） ● 意味付けしたデータを分かりやすく伝える（伝達）力を鍛え続けていくことが必要。

Slide 9

Slide 9 text

Growth Engineerに必要だと思うスキル・知識特定の領域にとらわれない幅広いスキル・知識。データ収集、分析力・統計学の知識行動経済学・認知心理学・マーケティングの知識可視化・レポーティング力なぜユーザーはそのように行動したのか簡潔に分かりやすく共有・報告する

Slide 10

Slide 10 text

それに加えてサービスのドメイン知識の深い理解も必要データ収集・分析スキル・統計学の知識行動経済学・認知心理学・マーケティング可視化・レポーティング力ドメイン知識の深い理解不足していると、データを誤って解釈してしまったり、解釈したデータを意思決定に役立つ形で伝えることができなくなってしまうサービスに対する深い理解が全ての土台になる

Slide 11

Slide 11 text

自分が普段やっていること① ● 技術に関するインプットに加え、マーケティングや行動経済学などの本も読んで幅広い知識をインプット読んだ本の例：「ジョブ理論」https://www.amazon.co.jp/dp/4596551227 大学時代は情報科学専攻・経営学副専攻だったので、意識せずとも幅広い分野の本を読む習慣が身についていた気がする ● インプットした知識を業務で取り入れてみるマーケティングや行動経済学の本を読む ➔ データを意味付けする際に取り入れてみる

Slide 12

Slide 12 text

自分が普段やっていること② ● 内側からのサービスの理解時にはオペレーション業務をやってみたり過去の知見を学んだり聞いたり ● 外側からのサービスの理解普段使わないプラットフォームで自社アプリを使ってみる自社以外のアプリを色々使ってみる（自社サービスの理解も深まる）時にはデジタルから離れてみる

Slide 13

Slide 13 text

ここまでの話 ● Growth Engineerには、特定の領域にとらわれない幅広いスキル・知識、サービスのドメイン知識に対する深い理解が必要だと思う。普段から幅広い分野の知識をインプットして、それを実践していく色々な角度からサービスに対する理解を深める ● データを集め（収集）、それを意味付けし（解釈）、意味付けしたデータを分かりやすく伝える（伝達）力を鍛え続けていく。組織のメンバー全員がデータを正しく解釈し、それを活用して質の高い意思決定ができる状態にしていく

Slide 14

Slide 14 text

質と速度を両立させた仮説検証で、良い学びを積み重ねるための取り組み

Slide 15

Slide 15 text

質と速度を両立させた仮説検証で、多くの良い学びを積み重ねていくサービスを継続的に成長させるためには、質と速度を両立させた仮説検証を繰り返して、良い学びを積み重ねることが大切だと思う。

Slide 16

Slide 16 text

良い学びを積み重ねることができると ● 次に行う施策の優先順位付けができる ● 新たな仮説の方向性を定めることができる仮説A 仮説B 学び学び学び

Slide 17

Slide 17 text

仮説検証で良い学びを積み重ねるためには ● 仮説検証の質と速度のバランスが重要だと感じる質のみを追求すると -> 検証のスピードが遅くなり、学びを積み重ねることができなくなる速度のみを追求すると -> 設計や測定が雑になり、良質な学びを得ることができなくなる時間をかけるべきところにはしっかりと時間をかけ、高速化できるところは積極的に高速化していく

Slide 18

Slide 18 text

仮説検証を質を保ちながら高速に行い、良い学びを積み重ねるために取り組んでいること実装設計測定 3つのパートに分けて話します。

Slide 19

Slide 19 text

I. 設計【質を追求】設計は入念に時間をかけて行う。 KPIの設定、検証後のアクションの決定など、仮説検証の設計をしっかりとする。ここが雑になってしまうと、実装で出戻りが発生したり、効果測定時に十分な学びが得られなくなってしまう。

Slide 20

Slide 20 text

I. 設計時間をかけてやっているところ ● 検証の目的・内容の明確化 ● KPIの設計、関連指標の確認 ● (A/Bテストを行う場合) 対象者の決定とサンプルサイズの見積もり ● 次のアクションの決定 ○ 結果が出てから考えるのではなく、設計の段階で結果が出た後のアクションを考えておく

Slide 21

Slide 21 text

II. 実装【速度を追求】実装は自動化やライブラリ整備などで高速化できる余地がたくさんある。定型化・自動化できる作業を積極的に発見し、実装コストを下げる仕組みをつくる。例： A/Bテストの実装を高速に行えるようにするログの収集・送信を仕組み化する

Slide 22

Slide 22 text

II. 実装 - 社内事例：A/Bテストの実装 Chanko: プロトタイプを高速に開発できるRailsプラグイン https://github.com/cookpad/chanko これをA/Bテスト用に拡張して使っている。モバイルアプリ（iOS/Android）にも、A/Bテストをしやすくする仕組みがある。

Slide 23

Slide 23 text

II. 実装 - 社内事例：ログ収集 Hakari2：一時的なログを簡単に仕込める社内ツール。 Puree：モバイルアプリ用ログ収集ライブラリ https://techlife.cookpad.com/entry/2018/02/28/113000 ログのバッファリング、リトライ機能などがある。

Slide 24

Slide 24 text

III. 効果測定【質を重視するところと高速化できるところを見極める】仮説検証を高速に行えば行うほど効果測定の時間的余裕はなくなっていくが、質を重視すべきところを雑にしてしまうと、十分な学びが得られない。必要十分な質を保ちながら、できるだけ低コストで効果測定を行える仕組みづくりをする必要がある。

Slide 25

Slide 25 text

III. 効果測定 - 社内事例① 【自動化】集計が自動化されたダッシュボード送ったログのパターンをコンソールで登録すると、集計が自動で行われ、ダッシュボードで見れるようになる。その数値をもとに確率分布が描画されたり、時系列での推移も見れたりする。

Slide 26

Slide 26 text

III. 効果測定 - 社内事例② 入会経路別の推移を見るダッシュボード全ての入会導線にはログが仕込まれていて、各経路からの入会数の推移が確認できる。新規導線の効果だけでなく、他の入会導線の数値が落ちていないか、新規導線からの入会が全体の入会数の向上につながっているかなどを簡単に確認することができる。

Slide 27

Slide 27 text

III. 効果測定 - 社内事例③ 【分析の簡略化】モバイルセッションID 先程の集計だけでは、2点を直線で繋ぐような分析しかできず、その前後にどのような行動をしていたのかが分からない。入会ボタンタップした入会ある画面の入会導線をクリックした

Slide 28

Slide 28 text

III. 効果測定 - 社内事例③ : モバイルセッションID モバイルアプリでは、自動生成したモバイルセッションIDと、イベントの発生順序を表すシーケンスをログに付与して各テーブルに送っている。ログテーブルA ログテーブルB ログテーブルC id = abc sequence= 1 id = abc sequence= 2 id = abc sequence= 3

Slide 29

Slide 29 text

III. 効果測定 - 社内事例③ : モバイルセッションID ● 集計したいログが複数のテーブルに保存されていても、モバイルセッションIDでグループ化できる。 ● 時刻ソートから、シーケンスのソートに。結果、あるアクションの前後にどのような行動をしていたのかを簡単に集計・分析できるようになった。

Slide 30

Slide 30 text

III. 効果測定時間をかけてやっているところ ● 検証の結果得られたデータの意味付け・解釈 ● KPIの改善がKGIの改善につながっているか ● 仮説検証で得た学びの共有・ストック

Slide 31

Slide 31 text

まとめ ● Growth Engineerに必要なスキル・知識は多岐にわたる幅広い知識のインプットと実践、サービスに対する深い理解を自分は大切にしている ● 仮説検証は質と速度のバランスが重要質を重視すべきところと高速化すべきところを見極めて、良い学びを積み重ねていく

Slide 32

Slide 32 text

ありがとうございましたクックパッド株式会社　Yuki Miida