GitHub: Insights from researching growth

Developer Summit Tokyo, by Derek Greentree & Chrissie Brodigan, translated by Daisuke Don Horie

Transcript

1. !
   GitHub
   Insights from researching growth
   

   View Slide

2. !
   @derekgr on GitHub
   ‣Boulder, Colorado
   ‣Software Engineer 2001 – Today
   ‣Joined GitHub’s Analytics Team, 2013
   

   View Slide

3. !
   

   View Slide

4. !
   I build tools for
   accessing and analyzing data.
   データを抽出して解析するツールを開発
   しています。
   

   View Slide

5. !
   GitHub.com: Traffic Graphs
   GitHub.com: トラフィックグラフ
   

   View Slide

6. !
   Frequency: GitHub Experiments
   Frequency: GitHub実験
   

   View Slide

7. @chrissiebrodigan on GitHub
   ‣San Francisco, CA
   ‣User Experience Researcher
   ‣Joined GitHub’s Design Team, 2013
   

   View Slide

8. !
   

   View Slide

9. !
   I’m a qualitative researcher, so I study
   human behaviors to help inform 

   design and product decisions.
   デザインとプロダクトの決断を補助するために⼈人間⾏行動
   を研究しています。
   

   View Slide

10. !
    

    View Slide

11. Qualitative Research
    定性的リサーチ
    •Usability studies – Watching someone use a product./ユーザビ
    リティスタディ - 製品の利⽤用者を観察する。
    •Interviews – Listening to people share experiences./ヒアリング
    - 利⽤用者の体験を聞き取る。
    •Exploratory studies – Discovering unknowns./探索 - 不明な事を
    発⾒見する。
    •Surveys – Reading a lot of open-text answers./アンケート - 利
    ⽤用者が書き込んど情報を読む。
    

    View Slide

12. !
    I look for patterns that we
    can’t usually see alone
    with numbers.
    数字だけでは⾒見つけられないパ
    ターンを探しています。
    

    View Slide

13. !
    Example:
    If newer users make fewer pull requests,
    we learn why that’s happening.
    例:
    新規利⽤用者が既存利⽤用者より作成して
    いるプルリクエストが少ないなら、何
    故それが起きているかを研究します。
    

    View Slide

14. !
    Together, Derek and I study
    what is happening with numbers,
    why with human experiences.
    私達は、数字を元に何が起きて
    いるか、⼈人間の体験を元に何故
    起きているかを研究しています。
    

    View Slide

15. !
    How many of you use GitHub?
    GitHubを利⽤用している⼈人は
    ⼿手をあげてください。
    

    View Slide

16. !
    How many of you currently
    work with a research team?
    リサーチチームと⼀一緒に
    仕事している⼈人は⼿手をあ
    げてください。
    

    View Slide

17. !
    Today, we’re going to share
    3 insights we’ve learned about
    researching growth.
    ࠓ೔͸(SPXUIΛݚڀ͢ΔதͰൃݟ͠
    ͨ̏ͭͷڭ܇Λ఻͑·͢ɻ
    

    View Slide

18. !
    1. Combine superpowers
    Qualitative & quantitative research
    ௒ਓೳྗΛ߹ମͤ͞Α͏ɻ
    ఆྔతͱ࣭త
    

    View Slide

19. !
    2. Create milestones
    Important user metrics
    ϚΠϧετʔϯΛ࡞੒͠Α͏
    ॏཁ͸ར༻ऀͷϝτϦοΫʢߦಈࢦ਺ʣ
    

    View Slide

20. !
    3. Build tools
    Automate & scale process
    πʔϧΛ࡞੒͠Α͏
    ࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏
    

    View Slide

21. !
    Together these 3 insights
    will help with your
    growth efforts.
    

    View Slide

22. !
    First, a story
    

    View Slide

23. !
    GitHub grows fast
    Lots of traffic and sign-ups.
    (JU)VC͸଎͍εϐʔυͰ੒௕͍ͯ͠·͢
    トラフィックとアカウント作成は
    多いです。
    

    View Slide

24. !
    ຊ౰ʹૣ͍ͷͰ͢
    2008 - 2014
    4 million new users in 2014
    

    View Slide

25. !
    We knew our
    early users well.
    ॳظͷϢʔβʔͷࣄ͸ྑ͘஌͍ͬͯ·ͨ͠ɻ
    Twitter, Hacker News, Friends,
    Meetups, Conferences, Rails community
    5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ
    ϯεɺ3BJMTίϛϡχςΟʔ
    

    View Slide

26. !
    It was easy to design GitHub
    for ourselves and our friends.
    ࣗ෼ͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ
    Πϯ͢Δͷ͸؆୯Ͱͨ͠ɻ
    

    View Slide

27. !
    But, people who sign up
    today are different.
    ͨͩ͠ɺࠓొ࿥͍ͯ͠Δਓͨͪ͸
    ҧ͍·͢ɻ
    

    View Slide

28. !
    They come from all over
    the world.
    ੈքதͷਓ͕ొ࿥͍ͯ͠·͢ɻ
    

    View Slide

29. !
    They aren’t all developers.
    ։ൃऀҎ֎ͷਓ΋(JU)VCΛར༻͍ͯ͠·͢ɻ
    

    View Slide

30. !
    Many don’t know Git.
    Most know SVN, TFS, Mercurial.
    gitを知らない⼈人もいます。
    SVN、SVN、Mercurialを知っている⼈人が多い
    です。
    

    View Slide

31. !
    Crisis
    ةػ
    "
    

    View Slide

32. !
    Many people sign up and
    fail to get started.
    ଟ͘ͷਓ͸ొ࿥ͯ͠΋ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠
    ·ͨ͠ɻ
    

    View Slide

33. !
    They don’t come back.

    ͜ͷਓୡ͕ೋ౓ͱ(JU)VCΛར༻͠·ͤΜɻ
    

    View Slide

34. !
    Fewer people are successful over time
    時間が進むほど成功する⼈人の数が減ります。
    Survivors
    ⽣生存者
    

    View Slide

35. !
    GitHub’s growth of
    active users slowed down.
    GitHubのアクティブユーザーの
    数のGrowthが減速していまし
    た。
    

    View Slide

36. !
    Hard
    ೉͍͠
    

    View Slide

37. !
    Smart people fail.
    頭の良い⼈人でも脱落する。
    

    View Slide

38. !
    To grow GitHub
    people need to succeed.
    GitHubを成⾧長させるにはこの
    ⼈人達を成功に導く必要がある
    

    View Slide

39. !
    We needed to learn more about
    new users.
    新規ユーザーに関してもっと学
    ぶ必要があった。
    

    View Slide

40. !
    We needed answers to
    questions about new users.
    新規ユーザーに関する質問の
    答えが必要だった。
    

    View Slide

41. !
    Who are they?
    誰なのか。
    

    View Slide

42. !
    What do they want?
    何を求めているのか。
    

    View Slide

43. !
    How can we help?
    どうやって我々は⼒力に
    なれるのか。
    

    View Slide

44. !
    Research
    リサーチ（研究）
    

    View Slide

45. !
    We built a research team
    to study behaviors.
    ⾏行動を研究するためにリサー
    チチームを⽴立ち上げた。
    #
    

    View Slide

46. !
    

    View Slide

47. We design with 5 inputs:
    様々なインプットを元にデザインを⾏行っている
    1. Quantitative data – Analytics/定量的データ - Analytics (統計)
    2. Qualitative data – Stories/定性的データ - ストーリー
    3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B)
    4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識
    5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切
    に思っている
    

    View Slide

48. !
    Data is helpful, but you
    need to use it wisely.
    全てのデータに価値はあるが、賢明に利
    ⽤用する必要がある。
    

    View Slide

49. !
    We moved slowly, thoughtfully
    on a simple project.
    まずは簡単なプロジェクトで慎重に計画を
    練って始めた。
    

    View Slide

50. !
    Project:
    User Milestones
    ユーザーɾマイルストーン
    

    View Slide

51. !
    We know people use GitHub to
    develop and ship software.
    ⼈人々はGitHubでソフトウェアを開発して出
    荷をする。
    

    View Slide

52. !
    We looked at data and discovered
    3 predictors of future activity.
    将来のアクティビティーの3つの予兆を発⾒見し
    た。
    

    View Slide

53. !
    Future activity will help you
    design for growth.
    将来のアクティビティーを知っていれ
    ば、Growthのためにデザインする助けに
    なる。
    

    View Slide

54. !
    1. Social Milestones
    ソーシャルマイルストーン
    Discovering projects & people.
    プロジェクトと⼈人を発⾒見(Discover)する。
    

    View Slide

55. !
    Star a project
    Social Milestones
    

    View Slide

56. !
    How many of you have
    starred a project?
    プロジェクトの★星印をクリックし
    たことある⼈人は⼿手をあげてください。
    

    View Slide

57. !
    Follow a person
    Social Milestones
    

    View Slide

58. !
    How many of you have 

    followed a person?
    

    GitHubで他の⼈人をフォローしたこ
    とある⼈人は⼿手を上げてください。
    

    View Slide

59. !
    2. Workflow Milestones
    ワークフローマイルストーン
    Collaborating with other people.
    ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ
    

    View Slide

60. !
    Comment/Open
    Pull Request or Issue
    Workflow Milestones
    

    View Slide

61. !
    How many of you have 

    opened or commented on an
    issue or pull request?

    Issueやpull requestを作成したり、コ
    メントした事ある⼈人は⼿手をあげてくだ
    さい。
    

    View Slide

62. !
    3. Code Milestones
    コードマイルストーン
    Developing on GitHub.
    GitHubで開発する。
    

    View Slide

63. !
    Create repository
    Code Milestones
    

    View Slide

64. !
    How many of you have 

    created a repository?

    レポジトリを作成した事ある
    ⼈人は⼿手をあげてください。
    

    View Slide

65. !
    Push a commit
    Code Milestones
    

    View Slide

66. !
    How many of you have 

    pushed a commit?

    Commitをプッシュした事があ
    る⼈人は⼿手をあげてください。
    

    View Slide

67. !
    User milestones = shared vocabulary
    ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書
    A common way to talk about
    performance, expectations, and results.
    パフォーマンス、期待と結果について話し合える共通の⾔言語
    

    View Slide

68. !
    But, we still needed to
    test them out.
    ただし、テスト(検証)する
    必要もあった。
    

    View Slide

69. !
    Experiment #1.
    New User Quiz
    実験その１
    新規ユーザークイズ
    

    View Slide

70. !
    We asked 5 questions to
    5% of new users signing up
    from the United States.
    ⽶米国で新規登録したユーザーの5％に5
    つの質問を聞いた。
    

    View Slide

71. 69% programming
    69％プログラミング
    1. What are you most interested in?
    何に最も興味があるか。
    in?
    

    View Slide

72. 76% brand new to Git
    76％はGit未経験
    2. How familiar are you with
    Git for version control?
    Gitの経験値はどれくらいか。
    

    View Slide

73. 60% code
    60％は開発している
    3. Do you code?
    開発してますか？
    

    View Slide

74. 50% maybe
    50％もしかしたら
    4. Would you like to get involved in
    Open Source?
    オープンソースに参加したい？
    

    View Slide

75. 58% not yet
    58%はまだ無い
    5. Do you already have a project to
    start working on?
    直ぐに作業を始めたいプロジェクトは既にあ
    るか？
    

    View Slide

76. !
    + Milestones/マイルストーン
    + Survey data /アンケートのデータ
    + Interviews/ヒアリング
    =
    Personas/ペルソナ
    

    View Slide

77. Personas: who we build GitHub for
    GitHubを次の⼈人のために開発している：
    ϓϩάϥϚʔ
    ϑΝϯ
    ։ൃ͠ͳ͍ߩݙऀ ։ൃΛษڧ͍ͨ͠ਓ
    ΦʔϓϯιʔεϓϩδΣΫτ
    ͷ؅ཧऀ
    ઌੜ
    

    View Slide

78. !
    But, we still struggled to
    locate and analyze data.
    ただし、データを探しだして分
    析するのが⼤大変だった。
    

    View Slide

79. !
    Personas tell us that our biggest 

    growth opportunity is still with 

    programmer enthusiasts.

    ペルソナを利⽤用することによってプログラ
    マーɾファンがGitHubにとって⼀一番⼤大きい
    Growthの機会だとわかります。
    

    View Slide

80. !
    Especially if they use 

    GitHub at work.

    GitHubを仕事で使っている
    場合はこれは特に当てはまります。
    

    View Slide

81. !
    How many of you use
    GitHub at work?

    

    GitHubを職場で使っている⼈人は
    ⼿手をあげてください。
    

    View Slide

82. !
    Personas help us see growth
    opportunities with
    project managers and designers.
    ペルソナはプロジェクトマネージャと
    デザイナーでどのような成⾧長機会があ
    るかを⾒見せてくれます。
    

    View Slide

83. !
    To grow we need to build better
    project management tools
    成⾧長するにはよりよいプロジェクトɾマネージメントツール
    を開発する必要があります。
    GitHub
    Issues
    

    View Slide

84. !
    Students are aspiring hackers who
    want to learn to use GitHub.
    学⽣生はGitHubの利⽤用⽅方法を勉強し
    たいプログラマー予備軍です。
    

    View Slide

85. !
    To grow we need to make GitHub free for students.
    

    ここで成⾧長するには学⽣生向けにGitHubを無料で提供する
    必要があります。
    

    View Slide

86. !
    education.github.com
    

    View Slide

87. !
    Research is helpful to everyone!
    リサーチは皆にとって重要です！
    

    View Slide

88. !
    But, we still struggled to
    locate and analyze data.
    ただし、データを探しだして
    分析するのが⼤大変だった。
    

    View Slide

89. !
    Without tools it was hard for
    people to get answers to
    statistical questions.
    ツールが無いと、統計に関
    して質問がある⼈人に答えを
    提供するのが難しったです
    

    View Slide

90. !
    This wasn’t sustainable!
    このやり⽅方では持続できない！
    

    View Slide

91. !
    This wasn’t sustainable!
    このやり⽅方は持続できない！
    

    View Slide

92. !
    We built internal tools to guide
    variance testing and
    inform design decisions.
    分散テストを導いて、デザインの決断を補
    助するための内部ツールを作成した。
    

    View Slide

93. !
    Statistics isn’t scary,
    but it can feel intense.
    統計は怖くない、
    でも結構⼤大変に感じてしまうことはある。
    

    View Slide

94. 4 key questions
    ポイントになる4つの質問
    1. Is the change better?/これは良い変更なのか
    2. How much better?/どれくらい良いのか
    3. How statistically valid is the result?/結果は統計的にどれ
    くらいだとうなのか
    4. Am I getting the whole picture?/状況を全て把握できてい
    るのか
    

    View Slide

95. !
    Frequency
    

    View Slide

96. !
    We want everyone at GitHub to
    be a user researcher.
    GitHubの従業員全員が利⽤用者を
    研究できるようにしたい
    

    View Slide

97. !
    Frequency is an internal GitHub
    app for people who don’t want
    to become statisticians.
    統計学者なりたくない⼈人向けの
    GitHubの社内アプリ
    

    View Slide

98. !
    Frequency: Internal GitHub Experiments
    

    View Slide

99. !
    Let’s look at a
    real experiment.
    実際の実験を⾒見ましょう
    

    View Slide

100. !
     How can we improve the % of new users
     who make a pull request in their
     first 28-days?
     登録してから28⽇日以内にプルリクエス
     トを作成する新規ユーザーの率を⾼高め
     る事は可能か？
     $
     

     View Slide

101. !
     First call-to-action
     after sign-up
     アカウント作成後に⾏行動を
     誘引(Call to action)
     

     View Slide

102. !
     Call to
     action
     ⾏行動を誘引
     %
     

     View Slide

103. !
     help.github.com
     Help site with lots of content.
     

     View Slide

104. !
     Designed 3 variants to see
     if we could improve the likelihood
     of a new user making a pull request.
     ユーザーがプルリクエストを作成
     する可能性を⾼高くするための３つ
     の⽅方法をデザインしました。
     

     View Slide

105. !
     Designed
     3 variants
     ３つの異型をデザイン
     

     View Slide

106. Variant 1. “Control”
     統制群
     

     View Slide

107. Variant 2. “New Bootcamp”
     新⼈人集中研修
     

     View Slide

108. !
     help.github.com
     Help site with lots of content.
     

     View Slide

109. Variant 3. “Hello World”
     

     View Slide

110. !
     guides.github.com
     Pull Request Tutorial
     

     View Slide

111. !
     Which one is the best?
     どれが⼀一番良いのか？
     

     View Slide

112. !
     Frequency: Internal GitHub Experiments
     

     View Slide

113. !
     Let’s look at Frequency’s
     outcomes
     Frequencyの結果を⾒見ましょ
     う
     

     View Slide

114. Social Milestone
     ソーシャルɾマイルストーン
     

     View Slide

115. !
     People in Hello World were
     -5 to -.2% less likely
     to star a project than the control.
     “Hello World”の⼈人たちは統制群より
     プロジェクトにスター★を付ける率-
     5から-.2%が低かった。
     

     View Slide

116. Workflow Milestone
     ワークフローɾマイルストーン
     

     View Slide

117. !
     People in Hello World were
     75.8 - 86.8% more likely
     to make a pull request
     than the control.
     “Hello World”の⼈人たちは統制群よ
     りプルリクエストを作成する率が
     75.8 - 86.8%⾼高かった。
     

     View Slide

118. !
     Success! 成功！
     Pull requests are a more valuable GitHub
     metric than pure retention.
     純粋なりテンションよりプルリクエス
     トの⽅方がGitHubとしては重要な数値で
     ある。
     $
     

     View Slide

119. !
     3 insights
     3つの教訓
     

     View Slide

120. !
     1. Combine superpowers
     超⼈人能⼒力を合体しよう。
     Qualitative & quantitative
     定量的と定性的
     

     View Slide

121. !
     2. Create milestones
     マイルストーンを作成しよう
     Might be a lot of manual work.
     結構な量のマニュアル作業が必要かも知れ
     ないが。
     

     View Slide

122. !
     3. Build tools
     ツールを作成しよう
     Create and automate process.
     作成して、作業を⾃自動化
     

     View Slide

123. !
     Together these 3 things will
     help with your growth efforts.
     この３つのことはより早い
     growthを可能にします。
     

     View Slide

124. !
     Growth
     

     View Slide

125. !
     Let’s talk about you.
     皆さまについて話しましょう。
     

     View Slide

126. !
     I want you to think about
     3 things.
     皆さまには３つの事について
     考えて欲しいです。
     

     View Slide

127. !
     1. Who are your users?
     皆さまのユーザーは誰なのか
     

     View Slide

128. !
     Are they people you already know or
     people you need to learn more about?
     どういう⼈人なのか既に知り尽くして
     いるのか、まだ研究することが必要
     なのか。
     

     View Slide

129. !
     2. What are your milestones?
     皆さまのマイルストーン（道
     標）は何ですか？
     

     View Slide

130. !
     Pure retention?
     純粋なretention?
     28-day actives
     ２８⽇日間アクティブなユーザー
     

     View Slide

131. !
     Or, more complex
     social behaviors?
     それとももっと複雑な社会的な⾏行動
     なのか？
     Pull requests
     プルリクエスト
     

     View Slide

132. !
     3. What tools do you need?
     どのようなツールが必要
     なのか
     

     View Slide

133. !
     Research insights will help
     you grow your audience.
     リサーチの教訓はお客さま
     のgrowthにつながります。
     

     View Slide

134. !
     Finish with a pug
     最後にパグ
     

     View Slide

135. View Slide

136. We ♥ making GitHub for you.
     @derekgr @chrissiebrodigan
     !
     

     View Slide