GitHub: Insights from researching growth

! GitHub Insights from researching growth

! @derekgr on GitHub ‣Boulder, Colorado ‣Software Engineer 2001 –
Today ‣Joined GitHub’s Analytics Team, 2013

! I build tools for accessing and analyzing data. データを抽出して解析するツールを開発
しています。

! GitHub.com: Traﬃc Graphs GitHub.com: トラフィックグラフ

! Frequency: GitHub Experiments Frequency: GitHub実験

@chrissiebrodigan on GitHub ‣San Francisco, CA ‣User Experience Researcher ‣Joined
GitHub’s Design Team, 2013

! I’m a qualitative researcher, so I study human behaviors
to help inform   design and product decisions. デザインとプロダクトの決断を補助するために⼈人間⾏行動を研究しています。

Qualitative Research 定性的リサーチ •Usability studies – Watching someone use a
product./ユーザビリティスタディ - 製品の利⽤用者を観察する。 •Interviews – Listening to people share experiences./ヒアリング - 利⽤用者の体験を聞き取る。 •Exploratory studies – Discovering unknowns./探索 - 不明な事を発⾒見する。 •Surveys – Reading a lot of open-text answers./アンケート - 利⽤用者が書き込んど情報を読む。

! I look for patterns that we can’t usually see
alone with numbers. 数字だけでは⾒見つけられないパターンを探しています。

! Example: If newer users make fewer pull requests, we
learn why that’s happening. 例: 新規利⽤用者が既存利⽤用者より作成しているプルリクエストが少ないなら、何故それが起きているかを研究します。

! Together, Derek and I study what is happening with
numbers, why with human experiences. 私達は、数字を元に何が起きているか、⼈人間の体験を元に何故起きているかを研究しています。

! How many of you use GitHub? GitHubを利⽤用している⼈人は⼿手をあげてください。

! How many of you currently work with a research
team? リサーチチームと⼀一緒に仕事している⼈人は⼿手をあげてください。

! Today, we’re going to share 3 insights we’ve learned
about researching growth. ࠓ೔͸(SPXUIΛݚڀ͢ΔதͰൃݟ͠ ͨ̏ͭͷڭ܇Λ఻͑·͢ɻ

! 1. Combine superpowers Qualitative & quantitative research ௒ਓೳྗΛ߹ମͤ͞Α͏ɻ
ఆྔతͱ࣭త

! 2. Create milestones Important user metrics ϚΠϧετʔϯΛ࡞੒͠Α͏ ॏཁ͸ར༻ऀͷϝτϦοΫʢߦಈࢦ਺ʣ

! 3. Build tools Automate & scale process πʔϧΛ࡞੒͠Α͏ ࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏

! Together these 3 insights will help with your growth
eﬀorts.

! First, a story

! GitHub grows fast Lots of traﬃc and sign-ups. (JU)VC͸଎͍εϐʔυͰ੒௕͍ͯ͠·͢
トラフィックとアカウント作成は多いです。

! ຊ౰ʹૣ͍ͷͰ͢ 2008 - 2014 4 million new users in
2014

! We knew our early users well. ॳظͷϢʔβʔͷࣄ͸ྑ͘஌͍ͬͯ·ͨ͠ɻ Twitter, Hacker
News, Friends, Meetups, Conferences, Rails community 5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ ϯεɺ3BJMTίϛϡχςΟʔ

! It was easy to design GitHub for ourselves and
our friends. ࣗ෼ͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ Πϯ͢Δͷ͸؆୯Ͱͨ͠ɻ

! But, people who sign up today are diﬀerent. ͨͩ͠ɺࠓొ࿥͍ͯ͠Δਓͨͪ͸
ҧ͍·͢ɻ

! They come from all over the world. ੈքதͷਓ͕ొ࿥͍ͯ͠·͢ɻ

! They aren’t all developers. ։ൃऀҎ֎ͷਓ΋(JU)VCΛར༻͍ͯ͠·͢ɻ

! Many don’t know Git. Most know SVN, TFS, Mercurial.
gitを知らない⼈人もいます。 SVN、SVN、Mercurialを知っている⼈人が多いです。

! Crisis ةػ "

! Many people sign up and fail to get started.
ଟ͘ͷਓ͸ొ࿥ͯ͠΋ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠ ·ͨ͠ɻ

! They don’t come back.  ͜ͷਓୡ͕ೋ౓ͱ(JU)VCΛར༻͠·ͤΜɻ

! Fewer people are successful over time 時間が進むほど成功する⼈人の数が減ります。 Survivors ⽣生存者

! GitHub’s growth of active users slowed down. GitHubのアクティブユーザーの数のGrowthが減速していまし
た。

! Hard ೉͍͠

! Smart people fail. 頭の良い⼈人でも脱落する。

! To grow GitHub people need to succeed. GitHubを成⾧長させるにはこの⼈人達を成功に導く必要がある

! We needed to learn more about new users. 新規ユーザーに関してもっと学
ぶ必要があった。

! We needed answers to questions about new users. 新規ユーザーに関する質問の
答えが必要だった。

! Who are they? 誰なのか。

! What do they want? 何を求めているのか。

! How can we help? どうやって我々は⼒力になれるのか。

! Research リサーチ（研究）

! We built a research team to study behaviors. ⾏行動を研究するためにリサー
チチームを⽴立ち上げた。 #

We design with 5 inputs: 様々なインプットを元にデザインを⾏行っている 1. Quantitative data –
Analytics/定量的データ - Analytics (統計) 2. Qualitative data – Stories/定性的データ - ストーリー 3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B) 4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識 5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切に思っている

! Data is helpful, but you need to use it
wisely. 全てのデータに価値はあるが、賢明に利⽤用する必要がある。

! We moved slowly, thoughtfully on a simple project. まずは簡単なプロジェクトで慎重に計画を
練って始めた。

! Project: User Milestones ユーザーɾマイルストーン

! We know people use GitHub to develop and ship
software. ⼈人々はGitHubでソフトウェアを開発して出荷をする。

! We looked at data and discovered 3 predictors of
future activity. 将来のアクティビティーの3つの予兆を発⾒見した。

! Future activity will help you design for growth. 将来のアクティビティーを知っていれ
ば、Growthのためにデザインする助けになる。

! 1. Social Milestones ソーシャルマイルストーン Discovering projects & people. プロジェクトと⼈人を発⾒見(Discover)する。

! Star a project Social Milestones

! How many of you have starred a project? プロジェクトの★星印をクリックし
たことある⼈人は⼿手をあげてください。

! Follow a person Social Milestones

! How many of you have   followed a person?
  GitHubで他の⼈人をフォローしたことある⼈人は⼿手を上げてください。

! 2. Workﬂow Milestones ワークフローマイルストーン Collaborating with other people. ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ

! Comment/Open Pull Request or Issue Workﬂow Milestones

! How many of you have   opened or commented
on an issue or pull request?  Issueやpull requestを作成したり、コメントした事ある⼈人は⼿手をあげてください。

! 3. Code Milestones コードマイルストーン Developing on GitHub. GitHubで開発する。

! Create repository Code Milestones

! How many of you have   created a repository? 
レポジトリを作成した事ある⼈人は⼿手をあげてください。

! Push a commit Code Milestones

! How many of you have   pushed a commit? 
Commitをプッシュした事がある⼈人は⼿手をあげてください。

! User milestones = shared vocabulary ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書 A
common way to talk about performance, expectations, and results. パフォーマンス、期待と結果について話し合える共通の⾔言語

! But, we still needed to test them out. ただし、テスト(検証)する
必要もあった。

! Experiment #1. New User Quiz 実験その１新規ユーザークイズ

! We asked 5 questions to 5% of new users
signing up from the United States. ⽶米国で新規登録したユーザーの5％に5 つの質問を聞いた。

69% programming 69％プログラミング 1. What are you most interested in?
何に最も興味があるか。 in?

76% brand new to Git 76％はGit未経験 2. How familiar are
you with Git for version control? Gitの経験値はどれくらいか。

60% code 60％は開発している 3. Do you code? 開発してますか？

50% maybe 50％もしかしたら 4. Would you like to get involved
in Open Source? オープンソースに参加したい？

58% not yet 58%はまだ無い 5. Do you already have a
project to start working on? 直ぐに作業を始めたいプロジェクトは既にあるか？

! + Milestones/マイルストーン + Survey data /アンケートのデータ + Interviews/ヒアリング =
Personas/ペルソナ

Personas: who we build GitHub for GitHubを次の⼈人のために開発している： ϓϩάϥϚʔ ϑΝϯ ։ൃ͠ͳ͍ߩݙऀ
։ൃΛษڧ͍ͨ͠ਓ ΦʔϓϯιʔεϓϩδΣΫτ ͷ؅ཧऀ ઌੜ

! But, we still struggled to locate and analyze data.
ただし、データを探しだして分析するのが⼤大変だった。

! Personas tell us that our biggest   growth opportunity
is still with   programmer enthusiasts.  ペルソナを利⽤用することによってプログラマーɾファンがGitHubにとって⼀一番⼤大きい Growthの機会だとわかります。

! Especially if they use   GitHub at work.  GitHubを仕事で使っている
場合はこれは特に当てはまります。

! How many of you use GitHub at work?   
GitHubを職場で使っている⼈人は⼿手をあげてください。

! Personas help us see growth opportunities with project managers
and designers. ペルソナはプロジェクトマネージャとデザイナーでどのような成⾧長機会があるかを⾒見せてくれます。

! To grow we need to build better project management
tools 成⾧長するにはよりよいプロジェクトɾマネージメントツールを開発する必要があります。 GitHub Issues

! Students are aspiring hackers who want to learn to
use GitHub. 学⽣生はGitHubの利⽤用⽅方法を勉強したいプログラマー予備軍です。

! To grow we need to make GitHub free for
students.   ここで成⾧長するには学⽣生向けにGitHubを無料で提供する必要があります。

! education.github.com

! Research is helpful to everyone! リサーチは皆にとって重要です！

! But, we still struggled to locate and analyze data.
ただし、データを探しだして分析するのが⼤大変だった。

! Without tools it was hard for people to get
answers to statistical questions. ツールが無いと、統計に関して質問がある⼈人に答えを提供するのが難しったです

! This wasn’t sustainable! このやり⽅方では持続できない！

! This wasn’t sustainable! このやり⽅方は持続できない！

! We built internal tools to guide variance testing and
inform design decisions. 分散テストを導いて、デザインの決断を補助するための内部ツールを作成した。

! Statistics isn’t scary, but it can feel intense. 統計は怖くない、
でも結構⼤大変に感じてしまうことはある。

4 key questions ポイントになる4つの質問 1. Is the change better?/これは良い変更なのか 2.
How much better?/どれくらい良いのか 3. How statistically valid is the result?/結果は統計的にどれくらいだとうなのか 4. Am I getting the whole picture?/状況を全て把握できているのか

! Frequency

! We want everyone at GitHub to be a user
researcher. GitHubの従業員全員が利⽤用者を研究できるようにしたい

! Frequency is an internal GitHub app for people who
don’t want to become statisticians. 統計学者なりたくない⼈人向けの GitHubの社内アプリ

! Frequency: Internal GitHub Experiments

! Let’s look at a real experiment. 実際の実験を⾒見ましょう

! How can we improve the % of new users
who make a pull request in their ﬁrst 28-days? 登録してから28⽇日以内にプルリクエストを作成する新規ユーザーの率を⾼高める事は可能か？ $

! First call-to-action after sign-up アカウント作成後に⾏行動を誘引(Call to action)

! Call to action ⾏行動を誘引 %

! help.github.com Help site with lots of content.

! Designed 3 variants to see if we could improve
the likelihood of a new user making a pull request. ユーザーがプルリクエストを作成する可能性を⾼高くするための３つの⽅方法をデザインしました。

! Designed 3 variants ３つの異型をデザイン

Variant 1. “Control” 統制群

Variant 2. “New Bootcamp” 新⼈人集中研修

! help.github.com Help site with lots of content.

Variant 3. “Hello World”

! guides.github.com Pull Request Tutorial

! Which one is the best? どれが⼀一番良いのか？

! Frequency: Internal GitHub Experiments

! Let’s look at Frequency’s outcomes Frequencyの結果を⾒見ましょう

Social Milestone ソーシャルɾマイルストーン

! People in Hello World were -5 to -.2% less
likely to star a project than the control. “Hello World”の⼈人たちは統制群よりプロジェクトにスター★を付ける率- 5から-.2%が低かった。

Workﬂow Milestone ワークフローɾマイルストーン

! People in Hello World were 75.8 - 86.8% more
likely to make a pull request than the control. “Hello World”の⼈人たちは統制群よりプルリクエストを作成する率が 75.8 - 86.8%⾼高かった。

! Success! 成功！ Pull requests are a more valuable GitHub
metric than pure retention. 純粋なりテンションよりプルリクエストの⽅方がGitHubとしては重要な数値である。 $

! 3 insights 3つの教訓

! 1. Combine superpowers 超⼈人能⼒力を合体しよう。 Qualitative & quantitative 定量的と定性的

! 2. Create milestones マイルストーンを作成しよう Might be a lot of
manual work. 結構な量のマニュアル作業が必要かも知れないが。

! 3. Build tools ツールを作成しよう Create and automate process. 作成して、作業を⾃自動化

! Together these 3 things will help with your growth
eﬀorts. この３つのことはより早い growthを可能にします。

! Growth

! Let’s talk about you. 皆さまについて話しましょう。

! I want you to think about 3 things. 皆さまには３つの事について
考えて欲しいです。

! 1. Who are your users? 皆さまのユーザーは誰なのか

! Are they people you already know or people you
need to learn more about? どういう⼈人なのか既に知り尽くしているのか、まだ研究することが必要なのか。

! 2. What are your milestones? 皆さまのマイルストーン（道標）は何ですか？

! Pure retention? 純粋なretention? 28-day actives ２８⽇日間アクティブなユーザー

! Or, more complex social behaviors? それとももっと複雑な社会的な⾏行動なのか？ Pull requests
プルリクエスト

! 3. What tools do you need? どのようなツールが必要なのか

! Research insights will help you grow your audience. リサーチの教訓はお客さま
のgrowthにつながります。

! Finish with a pug 最後にパグ

We ♥ making GitHub for you. @derekgr @chrissiebrodigan !

GitHub: Insights from researching growth

GitHub: Insights from researching growth

More Decks by Chrissie Brodigan

Other Decks in Research

Featured

Transcript