Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GitHub: Insights from researching growth

GitHub: Insights from researching growth

Developer Summit Tokyo, by Derek Greentree & Chrissie Brodigan, translated by Daisuke Don Horie

F091db85bc34be872c938ba9b0901e60?s=128

Chrissie Brodigan

March 03, 2015
Tweet

Transcript

  1. ! GitHub Insights from researching growth

  2. ! @derekgr on GitHub ‣Boulder, Colorado ‣Software Engineer 2001 –

    Today ‣Joined GitHub’s Analytics Team, 2013
  3. !

  4. ! I build tools for accessing and analyzing data. データを抽出して解析するツールを開発

    しています。
  5. ! GitHub.com: Traffic Graphs GitHub.com: トラフィックグラフ

  6. ! Frequency: GitHub Experiments Frequency: GitHub実験

  7. @chrissiebrodigan on GitHub ‣San Francisco, CA ‣User Experience Researcher ‣Joined

    GitHub’s Design Team, 2013
  8. !

  9. ! I’m a qualitative researcher, so I study human behaviors

    to help inform 
 design and product decisions. デザインとプロダクトの決断を補助するために⼈人間⾏行動 を研究しています。
  10. !

  11. Qualitative Research 定性的リサーチ •Usability studies – Watching someone use a

    product./ユーザビ リティスタディ - 製品の利⽤用者を観察する。 •Interviews – Listening to people share experiences./ヒアリング - 利⽤用者の体験を聞き取る。 •Exploratory studies – Discovering unknowns./探索 - 不明な事を 発⾒見する。 •Surveys – Reading a lot of open-text answers./アンケート - 利 ⽤用者が書き込んど情報を読む。
  12. ! I look for patterns that we can’t usually see

    alone with numbers. 数字だけでは⾒見つけられないパ ターンを探しています。
  13. ! Example: If newer users make fewer pull requests, we

    learn why that’s happening. 例: 新規利⽤用者が既存利⽤用者より作成して いるプルリクエストが少ないなら、何 故それが起きているかを研究します。
  14. ! Together, Derek and I study what is happening with

    numbers, why with human experiences. 私達は、数字を元に何が起きて いるか、⼈人間の体験を元に何故 起きているかを研究しています。
  15. ! How many of you use GitHub? GitHubを利⽤用している⼈人は ⼿手をあげてください。

  16. ! How many of you currently work with a research

    team? リサーチチームと⼀一緒に 仕事している⼈人は⼿手をあ げてください。
  17. ! Today, we’re going to share 3 insights we’ve learned

    about researching growth. ࠓ೔͸(SPXUIΛݚڀ͢ΔதͰൃݟ͠ ͨ̏ͭͷڭ܇Λ఻͑·͢ɻ
  18. ! 1. Combine superpowers Qualitative & quantitative research  ௒ਓೳྗΛ߹ମͤ͞Α͏ɻ

    ఆྔతͱ࣭త
  19. ! 2. Create milestones Important user metrics ϚΠϧετʔϯΛ࡞੒͠Α͏ ॏཁ͸ར༻ऀͷϝτϦοΫʢߦಈࢦ਺ʣ

  20. ! 3. Build tools Automate & scale process πʔϧΛ࡞੒͠Α͏ ࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏

  21. ! Together these 3 insights will help with your growth

    efforts.
  22. ! First, a story

  23. ! GitHub grows fast Lots of traffic and sign-ups. (JU)VC͸଎͍εϐʔυͰ੒௕͍ͯ͠·͢

    トラフィックとアカウント作成は 多いです。
  24. ! ຊ౰ʹૣ͍ͷͰ͢ 2008 - 2014 4 million new users in

    2014
  25. ! We knew our early users well. ॳظͷϢʔβʔͷࣄ͸ྑ͘஌͍ͬͯ·ͨ͠ɻ Twitter, Hacker

    News, Friends, Meetups, Conferences, Rails community 5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ ϯεɺ3BJMTίϛϡχςΟʔ
  26. ! It was easy to design GitHub for ourselves and

    our friends. ࣗ෼ͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ Πϯ͢Δͷ͸؆୯Ͱͨ͠ɻ
  27. ! But, people who sign up today are different. ͨͩ͠ɺࠓొ࿥͍ͯ͠Δਓͨͪ͸

    ҧ͍·͢ɻ
  28. ! They come from all over the world. ੈքதͷਓ͕ొ࿥͍ͯ͠·͢ɻ

  29. ! They aren’t all developers. ։ൃऀҎ֎ͷਓ΋(JU)VCΛར༻͍ͯ͠·͢ɻ

  30. ! Many don’t know Git. Most know SVN, TFS, Mercurial.

    gitを知らない⼈人もいます。 SVN、SVN、Mercurialを知っている⼈人が多い です。
  31. ! Crisis ةػ "

  32. ! Many people sign up and fail to get started.

    ଟ͘ͷਓ͸ొ࿥ͯ͠΋ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠ ·ͨ͠ɻ
  33. ! They don’t come back.
 ͜ͷਓୡ͕ೋ౓ͱ(JU)VCΛར༻͠·ͤΜɻ

  34. ! Fewer people are successful over time 時間が進むほど成功する⼈人の数が減ります。 Survivors ⽣生存者

  35. ! GitHub’s growth of active users slowed down. GitHubのアクティブユーザーの 数のGrowthが減速していまし

    た。
  36. ! Hard ೉͍͠

  37. ! Smart people fail. 頭の良い⼈人でも脱落する。

  38. ! To grow GitHub people need to succeed. GitHubを成⾧長させるにはこの ⼈人達を成功に導く必要がある

  39. ! We needed to learn more about new users. 新規ユーザーに関してもっと学

    ぶ必要があった。
  40. ! We needed answers to questions about new users. 新規ユーザーに関する質問の

    答えが必要だった。
  41. ! Who are they? 誰なのか。

  42. ! What do they want? 何を求めているのか。

  43. ! How can we help? どうやって我々は⼒力に なれるのか。

  44. ! Research リサーチ(研究)

  45. ! We built a research team to study behaviors. ⾏行動を研究するためにリサー

    チチームを⽴立ち上げた。 #
  46. !

  47. We design with 5 inputs: 様々なインプットを元にデザインを⾏行っている 1. Quantitative data –

    Analytics/定量的データ - Analytics (統計) 2. Qualitative data – Stories/定性的データ - ストーリー 3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B) 4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識 5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切 に思っている
  48. ! Data is helpful, but you need to use it

    wisely. 全てのデータに価値はあるが、賢明に利 ⽤用する必要がある。
  49. ! We moved slowly, thoughtfully on a simple project. まずは簡単なプロジェクトで慎重に計画を

    練って始めた。
  50. ! Project: User Milestones ユーザーɾマイルストーン

  51. ! We know people use GitHub to develop and ship

    software. ⼈人々はGitHubでソフトウェアを開発して出 荷をする。
  52. ! We looked at data and discovered 3 predictors of

    future activity. 将来のアクティビティーの3つの予兆を発⾒見し た。
  53. ! Future activity will help you design for growth. 将来のアクティビティーを知っていれ

    ば、Growthのためにデザインする助けに なる。
  54. ! 1. Social Milestones ソーシャルマイルストーン Discovering projects & people. プロジェクトと⼈人を発⾒見(Discover)する。

  55. ! Star a project Social Milestones

  56. ! How many of you have starred a project? プロジェクトの★星印をクリックし

    たことある⼈人は⼿手をあげてください。
  57. ! Follow a person Social Milestones

  58. ! How many of you have 
 followed a person?

    
 GitHubで他の⼈人をフォローしたこ とある⼈人は⼿手を上げてください。
  59. ! 2. Workflow Milestones ワークフローマイルストーン Collaborating with other people. ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ

  60. ! Comment/Open Pull Request or Issue Workflow Milestones

  61. ! How many of you have 
 opened or commented

    on an issue or pull request?
 Issueやpull requestを作成したり、コ メントした事ある⼈人は⼿手をあげてくだ さい。
  62. ! 3. Code Milestones コードマイルストーン Developing on GitHub. GitHubで開発する。

  63. ! Create repository Code Milestones

  64. ! How many of you have 
 created a repository?


    レポジトリを作成した事ある ⼈人は⼿手をあげてください。
  65. ! Push a commit Code Milestones

  66. ! How many of you have 
 pushed a commit?


    Commitをプッシュした事があ る⼈人は⼿手をあげてください。
  67. ! User milestones = shared vocabulary ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書 A

    common way to talk about performance, expectations, and results. パフォーマンス、期待と結果について話し合える共通の⾔言語
  68. ! But, we still needed to test them out. ただし、テスト(検証)する

    必要もあった。
  69. ! Experiment #1. New User Quiz 実験その1 新規ユーザークイズ

  70. ! We asked 5 questions to 5% of new users

    signing up from the United States. ⽶米国で新規登録したユーザーの5%に5 つの質問を聞いた。
  71. 69% programming 69%プログラミング 1. What are you most interested in?

    何に最も興味があるか。 in?
  72. 76% brand new to Git 76%はGit未経験 2. How familiar are

    you with Git for version control? Gitの経験値はどれくらいか。
  73. 60% code 60%は開発している 3. Do you code? 開発してますか?

  74. 50% maybe 50%もしかしたら 4. Would you like to get involved

    in Open Source? オープンソースに参加したい?
  75. 58% not yet 58%はまだ無い 5. Do you already have a

    project to start working on? 直ぐに作業を始めたいプロジェクトは既にあ るか?
  76. ! + Milestones/マイルストーン + Survey data /アンケートのデータ + Interviews/ヒアリング =

    Personas/ペルソナ
  77. Personas: who we build GitHub for GitHubを次の⼈人のために開発している: ϓϩάϥϚʔ ϑΝϯ ։ൃ͠ͳ͍ߩݙऀ

    ։ൃΛษڧ͍ͨ͠ਓ ΦʔϓϯιʔεϓϩδΣΫτ ͷ؅ཧऀ ઌੜ
  78. ! But, we still struggled to locate and analyze data.

    ただし、データを探しだして分 析するのが⼤大変だった。
  79. ! Personas tell us that our biggest 
 growth opportunity

    is still with 
 programmer enthusiasts.
 ペルソナを利⽤用することによってプログラ マーɾファンがGitHubにとって⼀一番⼤大きい Growthの機会だとわかります。
  80. ! Especially if they use 
 GitHub at work.
 GitHubを仕事で使っている

    場合はこれは特に当てはまります。
  81. ! How many of you use GitHub at work?
 


    GitHubを職場で使っている⼈人は ⼿手をあげてください。
  82. ! Personas help us see growth opportunities with project managers

    and designers. ペルソナはプロジェクトマネージャと デザイナーでどのような成⾧長機会があ るかを⾒見せてくれます。
  83. ! To grow we need to build better project management

    tools 成⾧長するにはよりよいプロジェクトɾマネージメントツール を開発する必要があります。 GitHub Issues
  84. ! Students are aspiring hackers who want to learn to

    use GitHub. 学⽣生はGitHubの利⽤用⽅方法を勉強し たいプログラマー予備軍です。
  85. ! To grow we need to make GitHub free for

    students. 
 ここで成⾧長するには学⽣生向けにGitHubを無料で提供する 必要があります。
  86. ! education.github.com

  87. ! Research is helpful to everyone! リサーチは皆にとって重要です!

  88. ! But, we still struggled to locate and analyze data.

    ただし、データを探しだして 分析するのが⼤大変だった。
  89. ! Without tools it was hard for people to get

    answers to statistical questions. ツールが無いと、統計に関 して質問がある⼈人に答えを 提供するのが難しったです
  90. ! This wasn’t sustainable! このやり⽅方では持続できない!

  91. ! This wasn’t sustainable! このやり⽅方は持続できない!

  92. ! We built internal tools to guide variance testing and

    inform design decisions. 分散テストを導いて、デザインの決断を補 助するための内部ツールを作成した。
  93. ! Statistics isn’t scary, but it can feel intense. 統計は怖くない、

    でも結構⼤大変に感じてしまうことはある。
  94. 4 key questions ポイントになる4つの質問 1. Is the change better?/これは良い変更なのか 2.

    How much better?/どれくらい良いのか 3. How statistically valid is the result?/結果は統計的にどれ くらいだとうなのか 4. Am I getting the whole picture?/状況を全て把握できてい るのか
  95. ! Frequency

  96. ! We want everyone at GitHub to be a user

    researcher. GitHubの従業員全員が利⽤用者を 研究できるようにしたい
  97. ! Frequency is an internal GitHub app for people who

    don’t want to become statisticians. 統計学者なりたくない⼈人向けの GitHubの社内アプリ
  98. ! Frequency: Internal GitHub Experiments

  99. ! Let’s look at a real experiment. 実際の実験を⾒見ましょう

  100. ! How can we improve the % of new users

    who make a pull request in their first 28-days? 登録してから28⽇日以内にプルリクエス トを作成する新規ユーザーの率を⾼高め る事は可能か? $
  101. ! First call-to-action after sign-up アカウント作成後に⾏行動を 誘引(Call to action)

  102. ! Call to action ⾏行動を誘引 %

  103. ! help.github.com Help site with lots of content.

  104. ! Designed 3 variants to see if we could improve

    the likelihood of a new user making a pull request. ユーザーがプルリクエストを作成 する可能性を⾼高くするための3つ の⽅方法をデザインしました。
  105. ! Designed 3 variants 3つの異型をデザイン

  106. Variant 1. “Control” 統制群

  107. Variant 2. “New Bootcamp” 新⼈人集中研修

  108. ! help.github.com Help site with lots of content.

  109. Variant 3. “Hello World”

  110. ! guides.github.com Pull Request Tutorial

  111. ! Which one is the best? どれが⼀一番良いのか?

  112. ! Frequency: Internal GitHub Experiments

  113. ! Let’s look at Frequency’s outcomes Frequencyの結果を⾒見ましょ う

  114. Social Milestone ソーシャルɾマイルストーン

  115. ! People in Hello World were -5 to -.2% less

    likely to star a project than the control. “Hello World”の⼈人たちは統制群より プロジェクトにスター★を付ける率- 5から-.2%が低かった。
  116. Workflow Milestone ワークフローɾマイルストーン

  117. ! People in Hello World were 75.8 - 86.8% more

    likely to make a pull request than the control. “Hello World”の⼈人たちは統制群よ りプルリクエストを作成する率が 75.8 - 86.8%⾼高かった。
  118. ! Success! 成功! Pull requests are a more valuable GitHub

    metric than pure retention. 純粋なりテンションよりプルリクエス トの⽅方がGitHubとしては重要な数値で ある。 $
  119. ! 3 insights 3つの教訓

  120. ! 1. Combine superpowers 超⼈人能⼒力を合体しよう。 Qualitative & quantitative 定量的と定性的

  121. ! 2. Create milestones マイルストーンを作成しよう Might be a lot of

    manual work. 結構な量のマニュアル作業が必要かも知れ ないが。
  122. ! 3. Build tools ツールを作成しよう Create and automate process. 作成して、作業を⾃自動化

  123. ! Together these 3 things will help with your growth

    efforts. この3つのことはより早い growthを可能にします。
  124. ! Growth

  125. ! Let’s talk about you. 皆さまについて話しましょう。

  126. ! I want you to think about 3 things. 皆さまには3つの事について

    考えて欲しいです。
  127. ! 1. Who are your users? 皆さまのユーザーは誰なのか

  128. ! Are they people you already know or people you

    need to learn more about? どういう⼈人なのか既に知り尽くして いるのか、まだ研究することが必要 なのか。
  129. ! 2. What are your milestones? 皆さまのマイルストーン(道 標)は何ですか?

  130. ! Pure retention? 純粋なretention? 28-day actives 28⽇日間アクティブなユーザー

  131. ! Or, more complex social behaviors? それとももっと複雑な社会的な⾏行動 なのか? Pull requests

    プルリクエスト
  132. ! 3. What tools do you need? どのようなツールが必要 なのか

  133. ! Research insights will help you grow your audience. リサーチの教訓はお客さま

    のgrowthにつながります。
  134. ! Finish with a pug 最後にパグ

  135. None
  136. We ♥ making GitHub for you. @derekgr @chrissiebrodigan !