Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GitHub: Insights from researching growth

GitHub: Insights from researching growth

Developer Summit Tokyo, by Derek Greentree & Chrissie Brodigan, translated by Daisuke Don Horie

Chrissie Brodigan

March 03, 2015
Tweet

More Decks by Chrissie Brodigan

Other Decks in Research

Transcript

  1. !
    GitHub
    Insights from researching growth

    View Slide

  2. !
    @derekgr on GitHub
    ‣Boulder, Colorado
    ‣Software Engineer 2001 – Today
    ‣Joined GitHub’s Analytics Team, 2013

    View Slide

  3. !

    View Slide

  4. !
    I build tools for
    accessing and analyzing data.
    データを抽出して解析するツールを開発
    しています。

    View Slide

  5. !
    GitHub.com: Traffic Graphs
    GitHub.com: トラフィックグラフ

    View Slide

  6. !
    Frequency: GitHub Experiments
    Frequency: GitHub実験

    View Slide

  7. @chrissiebrodigan on GitHub
    ‣San Francisco, CA
    ‣User Experience Researcher
    ‣Joined GitHub’s Design Team, 2013

    View Slide

  8. !

    View Slide

  9. !
    I’m a qualitative researcher, so I study
    human behaviors to help inform 

    design and product decisions.
    デザインとプロダクトの決断を補助するために⼈人間⾏行動
    を研究しています。

    View Slide

  10. !

    View Slide

  11. Qualitative Research
    定性的リサーチ
    •Usability studies – Watching someone use a product./ユーザビ
    リティスタディ - 製品の利⽤用者を観察する。
    •Interviews – Listening to people share experiences./ヒアリング
    - 利⽤用者の体験を聞き取る。
    •Exploratory studies – Discovering unknowns./探索 - 不明な事を
    発⾒見する。
    •Surveys – Reading a lot of open-text answers./アンケート - 利
    ⽤用者が書き込んど情報を読む。

    View Slide

  12. !
    I look for patterns that we
    can’t usually see alone
    with numbers.
    数字だけでは⾒見つけられないパ
    ターンを探しています。

    View Slide

  13. !
    Example:
    If newer users make fewer pull requests,
    we learn why that’s happening.
    例:
    新規利⽤用者が既存利⽤用者より作成して
    いるプルリクエストが少ないなら、何
    故それが起きているかを研究します。

    View Slide

  14. !
    Together, Derek and I study
    what is happening with numbers,
    why with human experiences.
    私達は、数字を元に何が起きて
    いるか、⼈人間の体験を元に何故
    起きているかを研究しています。

    View Slide

  15. !
    How many of you use GitHub?
    GitHubを利⽤用している⼈人は
    ⼿手をあげてください。

    View Slide

  16. !
    How many of you currently
    work with a research team?
    リサーチチームと⼀一緒に
    仕事している⼈人は⼿手をあ
    げてください。

    View Slide

  17. !
    Today, we’re going to share
    3 insights we’ve learned about
    researching growth.
    ࠓ೔͸(SPXUIΛݚڀ͢ΔதͰൃݟ͠
    ͨ̏ͭͷڭ܇Λ఻͑·͢ɻ

    View Slide

  18. !
    1. Combine superpowers
    Qualitative & quantitative research
    ௒ਓೳྗΛ߹ମͤ͞Α͏ɻ
    ఆྔతͱ࣭త

    View Slide

  19. !
    2. Create milestones
    Important user metrics
    ϚΠϧετʔϯΛ࡞੒͠Α͏
    ॏཁ͸ར༻ऀͷϝτϦοΫʢߦಈࢦ਺ʣ

    View Slide

  20. !
    3. Build tools
    Automate & scale process
    πʔϧΛ࡞੒͠Α͏
    ࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏

    View Slide

  21. !
    Together these 3 insights
    will help with your
    growth efforts.

    View Slide

  22. !
    First, a story

    View Slide

  23. !
    GitHub grows fast
    Lots of traffic and sign-ups.
    (JU)VC͸଎͍εϐʔυͰ੒௕͍ͯ͠·͢
    トラフィックとアカウント作成は
    多いです。

    View Slide

  24. !
    ຊ౰ʹૣ͍ͷͰ͢
    2008 - 2014
    4 million new users in 2014

    View Slide

  25. !
    We knew our
    early users well.
    ॳظͷϢʔβʔͷࣄ͸ྑ͘஌͍ͬͯ·ͨ͠ɻ
    Twitter, Hacker News, Friends,
    Meetups, Conferences, Rails community
    5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ
    ϯεɺ3BJMTίϛϡχςΟʔ

    View Slide

  26. !
    It was easy to design GitHub
    for ourselves and our friends.
    ࣗ෼ͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ
    Πϯ͢Δͷ͸؆୯Ͱͨ͠ɻ

    View Slide

  27. !
    But, people who sign up
    today are different.
    ͨͩ͠ɺࠓొ࿥͍ͯ͠Δਓͨͪ͸
    ҧ͍·͢ɻ

    View Slide

  28. !
    They come from all over
    the world.
    ੈքதͷਓ͕ొ࿥͍ͯ͠·͢ɻ

    View Slide

  29. !
    They aren’t all developers.
    ։ൃऀҎ֎ͷਓ΋(JU)VCΛར༻͍ͯ͠·͢ɻ

    View Slide

  30. !
    Many don’t know Git.
    Most know SVN, TFS, Mercurial.
    gitを知らない⼈人もいます。
    SVN、SVN、Mercurialを知っている⼈人が多い
    です。

    View Slide

  31. !
    Crisis
    ةػ
    "

    View Slide

  32. !
    Many people sign up and
    fail to get started.
    ଟ͘ͷਓ͸ొ࿥ͯ͠΋ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠
    ·ͨ͠ɻ

    View Slide

  33. !
    They don’t come back.

    ͜ͷਓୡ͕ೋ౓ͱ(JU)VCΛར༻͠·ͤΜɻ

    View Slide

  34. !
    Fewer people are successful over time
    時間が進むほど成功する⼈人の数が減ります。
    Survivors
    ⽣生存者

    View Slide

  35. !
    GitHub’s growth of
    active users slowed down.
    GitHubのアクティブユーザーの
    数のGrowthが減速していまし
    た。

    View Slide

  36. !
    Hard
    ೉͍͠

    View Slide

  37. !
    Smart people fail.
    頭の良い⼈人でも脱落する。

    View Slide

  38. !
    To grow GitHub
    people need to succeed.
    GitHubを成⾧長させるにはこの
    ⼈人達を成功に導く必要がある

    View Slide

  39. !
    We needed to learn more about
    new users.
    新規ユーザーに関してもっと学
    ぶ必要があった。

    View Slide

  40. !
    We needed answers to
    questions about new users.
    新規ユーザーに関する質問の
    答えが必要だった。

    View Slide

  41. !
    Who are they?
    誰なのか。

    View Slide

  42. !
    What do they want?
    何を求めているのか。

    View Slide

  43. !
    How can we help?
    どうやって我々は⼒力に
    なれるのか。

    View Slide

  44. !
    Research
    リサーチ(研究)

    View Slide

  45. !
    We built a research team
    to study behaviors.
    ⾏行動を研究するためにリサー
    チチームを⽴立ち上げた。
    #

    View Slide

  46. !

    View Slide

  47. We design with 5 inputs:
    様々なインプットを元にデザインを⾏行っている
    1. Quantitative data – Analytics/定量的データ - Analytics (統計)
    2. Qualitative data – Stories/定性的データ - ストーリー
    3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B)
    4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識
    5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切
    に思っている

    View Slide

  48. !
    Data is helpful, but you
    need to use it wisely.
    全てのデータに価値はあるが、賢明に利
    ⽤用する必要がある。

    View Slide

  49. !
    We moved slowly, thoughtfully
    on a simple project.
    まずは簡単なプロジェクトで慎重に計画を
    練って始めた。

    View Slide

  50. !
    Project:
    User Milestones
    ユーザーɾマイルストーン

    View Slide

  51. !
    We know people use GitHub to
    develop and ship software.
    ⼈人々はGitHubでソフトウェアを開発して出
    荷をする。

    View Slide

  52. !
    We looked at data and discovered
    3 predictors of future activity.
    将来のアクティビティーの3つの予兆を発⾒見し
    た。

    View Slide

  53. !
    Future activity will help you
    design for growth.
    将来のアクティビティーを知っていれ
    ば、Growthのためにデザインする助けに
    なる。

    View Slide

  54. !
    1. Social Milestones
    ソーシャルマイルストーン
    Discovering projects & people.
    プロジェクトと⼈人を発⾒見(Discover)する。

    View Slide

  55. !
    Star a project
    Social Milestones

    View Slide

  56. !
    How many of you have
    starred a project?
    プロジェクトの★星印をクリックし
    たことある⼈人は⼿手をあげてください。

    View Slide

  57. !
    Follow a person
    Social Milestones

    View Slide

  58. !
    How many of you have 

    followed a person?

    GitHubで他の⼈人をフォローしたこ
    とある⼈人は⼿手を上げてください。

    View Slide

  59. !
    2. Workflow Milestones
    ワークフローマイルストーン
    Collaborating with other people.
    ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ

    View Slide

  60. !
    Comment/Open
    Pull Request or Issue
    Workflow Milestones

    View Slide

  61. !
    How many of you have 

    opened or commented on an
    issue or pull request?

    Issueやpull requestを作成したり、コ
    メントした事ある⼈人は⼿手をあげてくだ
    さい。

    View Slide

  62. !
    3. Code Milestones
    コードマイルストーン
    Developing on GitHub.
    GitHubで開発する。

    View Slide

  63. !
    Create repository
    Code Milestones

    View Slide

  64. !
    How many of you have 

    created a repository?

    レポジトリを作成した事ある
    ⼈人は⼿手をあげてください。

    View Slide

  65. !
    Push a commit
    Code Milestones

    View Slide

  66. !
    How many of you have 

    pushed a commit?

    Commitをプッシュした事があ
    る⼈人は⼿手をあげてください。

    View Slide

  67. !
    User milestones = shared vocabulary
    ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書
    A common way to talk about
    performance, expectations, and results.
    パフォーマンス、期待と結果について話し合える共通の⾔言語

    View Slide

  68. !
    But, we still needed to
    test them out.
    ただし、テスト(検証)する
    必要もあった。

    View Slide

  69. !
    Experiment #1.
    New User Quiz
    実験その1
    新規ユーザークイズ

    View Slide

  70. !
    We asked 5 questions to
    5% of new users signing up
    from the United States.
    ⽶米国で新規登録したユーザーの5%に5
    つの質問を聞いた。

    View Slide

  71. 69% programming
    69%プログラミング
    1. What are you most interested in?
    何に最も興味があるか。
    in?

    View Slide

  72. 76% brand new to Git
    76%はGit未経験
    2. How familiar are you with
    Git for version control?
    Gitの経験値はどれくらいか。

    View Slide

  73. 60% code
    60%は開発している
    3. Do you code?
    開発してますか?

    View Slide

  74. 50% maybe
    50%もしかしたら
    4. Would you like to get involved in
    Open Source?
    オープンソースに参加したい?

    View Slide

  75. 58% not yet
    58%はまだ無い
    5. Do you already have a project to
    start working on?
    直ぐに作業を始めたいプロジェクトは既にあ
    るか?

    View Slide

  76. !
    + Milestones/マイルストーン
    + Survey data /アンケートのデータ
    + Interviews/ヒアリング
    =
    Personas/ペルソナ

    View Slide

  77. Personas: who we build GitHub for
    GitHubを次の⼈人のために開発している:
    ϓϩάϥϚʔ
    ϑΝϯ
    ։ൃ͠ͳ͍ߩݙऀ ։ൃΛษڧ͍ͨ͠ਓ
    ΦʔϓϯιʔεϓϩδΣΫτ
    ͷ؅ཧऀ
    ઌੜ

    View Slide

  78. !
    But, we still struggled to
    locate and analyze data.
    ただし、データを探しだして分
    析するのが⼤大変だった。

    View Slide

  79. !
    Personas tell us that our biggest 

    growth opportunity is still with 

    programmer enthusiasts.

    ペルソナを利⽤用することによってプログラ
    マーɾファンがGitHubにとって⼀一番⼤大きい
    Growthの機会だとわかります。

    View Slide

  80. !
    Especially if they use 

    GitHub at work.

    GitHubを仕事で使っている
    場合はこれは特に当てはまります。

    View Slide

  81. !
    How many of you use
    GitHub at work?


    GitHubを職場で使っている⼈人は
    ⼿手をあげてください。

    View Slide

  82. !
    Personas help us see growth
    opportunities with
    project managers and designers.
    ペルソナはプロジェクトマネージャと
    デザイナーでどのような成⾧長機会があ
    るかを⾒見せてくれます。

    View Slide

  83. !
    To grow we need to build better
    project management tools
    成⾧長するにはよりよいプロジェクトɾマネージメントツール
    を開発する必要があります。
    GitHub
    Issues

    View Slide

  84. !
    Students are aspiring hackers who
    want to learn to use GitHub.
    学⽣生はGitHubの利⽤用⽅方法を勉強し
    たいプログラマー予備軍です。

    View Slide

  85. !
    To grow we need to make GitHub free for students.

    ここで成⾧長するには学⽣生向けにGitHubを無料で提供する
    必要があります。

    View Slide

  86. !
    education.github.com

    View Slide

  87. !
    Research is helpful to everyone!
    リサーチは皆にとって重要です!

    View Slide

  88. !
    But, we still struggled to
    locate and analyze data.
    ただし、データを探しだして
    分析するのが⼤大変だった。

    View Slide

  89. !
    Without tools it was hard for
    people to get answers to
    statistical questions.
    ツールが無いと、統計に関
    して質問がある⼈人に答えを
    提供するのが難しったです

    View Slide

  90. !
    This wasn’t sustainable!
    このやり⽅方では持続できない!

    View Slide

  91. !
    This wasn’t sustainable!
    このやり⽅方は持続できない!

    View Slide

  92. !
    We built internal tools to guide
    variance testing and
    inform design decisions.
    分散テストを導いて、デザインの決断を補
    助するための内部ツールを作成した。

    View Slide

  93. !
    Statistics isn’t scary,
    but it can feel intense.
    統計は怖くない、
    でも結構⼤大変に感じてしまうことはある。

    View Slide

  94. 4 key questions
    ポイントになる4つの質問
    1. Is the change better?/これは良い変更なのか
    2. How much better?/どれくらい良いのか
    3. How statistically valid is the result?/結果は統計的にどれ
    くらいだとうなのか
    4. Am I getting the whole picture?/状況を全て把握できてい
    るのか

    View Slide

  95. !
    Frequency

    View Slide

  96. !
    We want everyone at GitHub to
    be a user researcher.
    GitHubの従業員全員が利⽤用者を
    研究できるようにしたい

    View Slide

  97. !
    Frequency is an internal GitHub
    app for people who don’t want
    to become statisticians.
    統計学者なりたくない⼈人向けの
    GitHubの社内アプリ

    View Slide

  98. !
    Frequency: Internal GitHub Experiments

    View Slide

  99. !
    Let’s look at a
    real experiment.
    実際の実験を⾒見ましょう

    View Slide

  100. !
    How can we improve the % of new users
    who make a pull request in their
    first 28-days?
    登録してから28⽇日以内にプルリクエス
    トを作成する新規ユーザーの率を⾼高め
    る事は可能か?
    $

    View Slide

  101. !
    First call-to-action
    after sign-up
    アカウント作成後に⾏行動を
    誘引(Call to action)

    View Slide

  102. !
    Call to
    action
    ⾏行動を誘引
    %

    View Slide

  103. !
    help.github.com
    Help site with lots of content.

    View Slide

  104. !
    Designed 3 variants to see
    if we could improve the likelihood
    of a new user making a pull request.
    ユーザーがプルリクエストを作成
    する可能性を⾼高くするための3つ
    の⽅方法をデザインしました。

    View Slide

  105. !
    Designed
    3 variants
    3つの異型をデザイン

    View Slide

  106. Variant 1. “Control”
    統制群

    View Slide

  107. Variant 2. “New Bootcamp”
    新⼈人集中研修

    View Slide

  108. !
    help.github.com
    Help site with lots of content.

    View Slide

  109. Variant 3. “Hello World”

    View Slide

  110. !
    guides.github.com
    Pull Request Tutorial

    View Slide

  111. !
    Which one is the best?
    どれが⼀一番良いのか?

    View Slide

  112. !
    Frequency: Internal GitHub Experiments

    View Slide

  113. !
    Let’s look at Frequency’s
    outcomes
    Frequencyの結果を⾒見ましょ

    View Slide

  114. Social Milestone
    ソーシャルɾマイルストーン

    View Slide

  115. !
    People in Hello World were
    -5 to -.2% less likely
    to star a project than the control.
    “Hello World”の⼈人たちは統制群より
    プロジェクトにスター★を付ける率-
    5から-.2%が低かった。

    View Slide

  116. Workflow Milestone
    ワークフローɾマイルストーン

    View Slide

  117. !
    People in Hello World were
    75.8 - 86.8% more likely
    to make a pull request
    than the control.
    “Hello World”の⼈人たちは統制群よ
    りプルリクエストを作成する率が
    75.8 - 86.8%⾼高かった。

    View Slide

  118. !
    Success! 成功!
    Pull requests are a more valuable GitHub
    metric than pure retention.
    純粋なりテンションよりプルリクエス
    トの⽅方がGitHubとしては重要な数値で
    ある。
    $

    View Slide

  119. !
    3 insights
    3つの教訓

    View Slide

  120. !
    1. Combine superpowers
    超⼈人能⼒力を合体しよう。
    Qualitative & quantitative
    定量的と定性的

    View Slide

  121. !
    2. Create milestones
    マイルストーンを作成しよう
    Might be a lot of manual work.
    結構な量のマニュアル作業が必要かも知れ
    ないが。

    View Slide

  122. !
    3. Build tools
    ツールを作成しよう
    Create and automate process.
    作成して、作業を⾃自動化

    View Slide

  123. !
    Together these 3 things will
    help with your growth efforts.
    この3つのことはより早い
    growthを可能にします。

    View Slide

  124. !
    Growth

    View Slide

  125. !
    Let’s talk about you.
    皆さまについて話しましょう。

    View Slide

  126. !
    I want you to think about
    3 things.
    皆さまには3つの事について
    考えて欲しいです。

    View Slide

  127. !
    1. Who are your users?
    皆さまのユーザーは誰なのか

    View Slide

  128. !
    Are they people you already know or
    people you need to learn more about?
    どういう⼈人なのか既に知り尽くして
    いるのか、まだ研究することが必要
    なのか。

    View Slide

  129. !
    2. What are your milestones?
    皆さまのマイルストーン(道
    標)は何ですか?

    View Slide

  130. !
    Pure retention?
    純粋なretention?
    28-day actives
    28⽇日間アクティブなユーザー

    View Slide

  131. !
    Or, more complex
    social behaviors?
    それとももっと複雑な社会的な⾏行動
    なのか?
    Pull requests
    プルリクエスト

    View Slide

  132. !
    3. What tools do you need?
    どのようなツールが必要
    なのか

    View Slide

  133. !
    Research insights will help
    you grow your audience.
    リサーチの教訓はお客さま
    のgrowthにつながります。

    View Slide

  134. !
    Finish with a pug
    最後にパグ

    View Slide

  135. View Slide

  136. We ♥ making GitHub for you.
    @derekgr @chrissiebrodigan
    !

    View Slide