@chrissiebrodigan on GitHub
‣San Francisco, CA
‣User Experience Researcher
‣Joined GitHub’s Design Team, 2013
Slide 8
Slide 8 text
!
Slide 9
Slide 9 text
!
I’m a qualitative researcher, so I study
human behaviors to help inform
design and product decisions.
デザインとプロダクトの決断を補助するために⼈人間⾏行動
を研究しています。
Slide 10
Slide 10 text
!
Slide 11
Slide 11 text
Qualitative Research
定性的リサーチ
•Usability studies – Watching someone use a product./ユーザビ
リティスタディ - 製品の利⽤用者を観察する。
•Interviews – Listening to people share experiences./ヒアリング
- 利⽤用者の体験を聞き取る。
•Exploratory studies – Discovering unknowns./探索 - 不明な事を
発⾒見する。
•Surveys – Reading a lot of open-text answers./アンケート - 利
⽤用者が書き込んど情報を読む。
Slide 12
Slide 12 text
!
I look for patterns that we
can’t usually see alone
with numbers.
数字だけでは⾒見つけられないパ
ターンを探しています。
Slide 13
Slide 13 text
!
Example:
If newer users make fewer pull requests,
we learn why that’s happening.
例:
新規利⽤用者が既存利⽤用者より作成して
いるプルリクエストが少ないなら、何
故それが起きているかを研究します。
Slide 14
Slide 14 text
!
Together, Derek and I study
what is happening with numbers,
why with human experiences.
私達は、数字を元に何が起きて
いるか、⼈人間の体験を元に何故
起きているかを研究しています。
Slide 15
Slide 15 text
!
How many of you use GitHub?
GitHubを利⽤用している⼈人は
⼿手をあげてください。
Slide 16
Slide 16 text
!
How many of you currently
work with a research team?
リサーチチームと⼀一緒に
仕事している⼈人は⼿手をあ
げてください。
Slide 17
Slide 17 text
!
Today, we’re going to share
3 insights we’ve learned about
researching growth.
ࠓ(SPXUIΛݚڀ͢ΔதͰൃݟ͠
ͨ̏ͭͷڭ܇Λ͑·͢ɻ
Slide 18
Slide 18 text
!
1. Combine superpowers
Qualitative & quantitative research
ਓೳྗΛ߹ମͤ͞Α͏ɻ
ఆྔతͱ࣭త
Slide 19
Slide 19 text
!
2. Create milestones
Important user metrics
ϚΠϧετʔϯΛ࡞͠Α͏
ॏཁར༻ऀͷϝτϦοΫʢߦಈࢦʣ
Slide 20
Slide 20 text
!
3. Build tools
Automate & scale process
πʔϧΛ࡞͠Α͏
࡞ۀΛࣗಈԽͯ͠εέʔϧͤ͞Α͏
Slide 21
Slide 21 text
!
Together these 3 insights
will help with your
growth efforts.
Slide 22
Slide 22 text
!
First, a story
Slide 23
Slide 23 text
!
GitHub grows fast
Lots of traffic and sign-ups.
(JU)VC͍εϐʔυͰ͍ͯ͠·͢
トラフィックとアカウント作成は
多いです。
Slide 24
Slide 24 text
!
ຊʹૣ͍ͷͰ͢
2008 - 2014
4 million new users in 2014
Slide 25
Slide 25 text
!
We knew our
early users well.
ॳظͷϢʔβʔͷࣄྑ͍ͬͯ͘·ͨ͠ɻ
Twitter, Hacker News, Friends,
Meetups, Conferences, Rails community
5XJUUFSɺ)BDLFS/FXTɺ༑ͩͪɺϛʔτΞοϓɺΧϯϑΝϨ
ϯεɺ3BJMTίϛϡχςΟʔ
Slide 26
Slide 26 text
!
It was easy to design GitHub
for ourselves and our friends.
ࣗͨͪͱ༑ͩͪͷҝʹ(JU)VCΛσβ
Πϯ͢Δͷ؆୯Ͱͨ͠ɻ
Slide 27
Slide 27 text
!
But, people who sign up
today are different.
ͨͩ͠ɺࠓొ͍ͯ͠Δਓͨͪ
ҧ͍·͢ɻ
Slide 28
Slide 28 text
!
They come from all over
the world.
ੈքதͷਓ͕ొ͍ͯ͠·͢ɻ
Slide 29
Slide 29 text
!
They aren’t all developers.
։ൃऀҎ֎ͷਓ(JU)VCΛར༻͍ͯ͠·͢ɻ
Slide 30
Slide 30 text
!
Many don’t know Git.
Most know SVN, TFS, Mercurial.
gitを知らない⼈人もいます。
SVN、SVN、Mercurialを知っている⼈人が多い
です。
Slide 31
Slide 31 text
!
Crisis
ةػ
"
Slide 32
Slide 32 text
!
Many people sign up and
fail to get started.
ଟ͘ͷਓొͯ͠ར༻Λ࢝ΊΔͷʹࣦഊ͍ͯ͠
·ͨ͠ɻ
Slide 33
Slide 33 text
!
They don’t come back.
͜ͷਓୡ͕ೋͱ(JU)VCΛར༻͠·ͤΜɻ
Slide 34
Slide 34 text
!
Fewer people are successful over time
時間が進むほど成功する⼈人の数が減ります。
Survivors
⽣生存者
Slide 35
Slide 35 text
!
GitHub’s growth of
active users slowed down.
GitHubのアクティブユーザーの
数のGrowthが減速していまし
た。
Slide 36
Slide 36 text
!
Hard
͍͠
Slide 37
Slide 37 text
!
Smart people fail.
頭の良い⼈人でも脱落する。
Slide 38
Slide 38 text
!
To grow GitHub
people need to succeed.
GitHubを成⾧長させるにはこの
⼈人達を成功に導く必要がある
Slide 39
Slide 39 text
!
We needed to learn more about
new users.
新規ユーザーに関してもっと学
ぶ必要があった。
Slide 40
Slide 40 text
!
We needed answers to
questions about new users.
新規ユーザーに関する質問の
答えが必要だった。
Slide 41
Slide 41 text
!
Who are they?
誰なのか。
Slide 42
Slide 42 text
!
What do they want?
何を求めているのか。
Slide 43
Slide 43 text
!
How can we help?
どうやって我々は⼒力に
なれるのか。
Slide 44
Slide 44 text
!
Research
リサーチ（研究）
Slide 45
Slide 45 text
!
We built a research team
to study behaviors.
⾏行動を研究するためにリサー
チチームを⽴立ち上げた。
#
Slide 46
Slide 46 text
!
Slide 47
Slide 47 text
We design with 5 inputs:
様々なインプットを元にデザインを⾏行っている
1. Quantitative data – Analytics/定量的データ - Analytics (統計)
2. Qualitative data – Stories/定性的データ - ストーリー
3. Variance testing – Experiments (A/B)/分散テスト - 実験 (A/B)
4. Intuition and experience – Expertise/直感と経験 - 専⾨門知識
5. Human empathy – Love/共感ɾ⼈人情 - GitHubは皆さまを⼤大切
に思っている
Slide 48
Slide 48 text
!
Data is helpful, but you
need to use it wisely.
全てのデータに価値はあるが、賢明に利
⽤用する必要がある。
Slide 49
Slide 49 text
!
We moved slowly, thoughtfully
on a simple project.
まずは簡単なプロジェクトで慎重に計画を
練って始めた。
Slide 50
Slide 50 text
!
Project:
User Milestones
ユーザーɾマイルストーン
Slide 51
Slide 51 text
!
We know people use GitHub to
develop and ship software.
⼈人々はGitHubでソフトウェアを開発して出
荷をする。
Slide 52
Slide 52 text
!
We looked at data and discovered
3 predictors of future activity.
将来のアクティビティーの3つの予兆を発⾒見し
た。
Slide 53
Slide 53 text
!
Future activity will help you
design for growth.
将来のアクティビティーを知っていれ
ば、Growthのためにデザインする助けに
なる。
Slide 54
Slide 54 text
!
1. Social Milestones
ソーシャルマイルストーン
Discovering projects & people.
プロジェクトと⼈人を発⾒見(Discover)する。
Slide 55
Slide 55 text
!
Star a project
Social Milestones
Slide 56
Slide 56 text
!
How many of you have
starred a project?
プロジェクトの★星印をクリックし
たことある⼈人は⼿手をあげてください。
Slide 57
Slide 57 text
!
Follow a person
Social Milestones
Slide 58
Slide 58 text
!
How many of you have
followed a person?
GitHubで他の⼈人をフォローしたこ
とある⼈人は⼿手を上げてください。
Slide 59
Slide 59 text
!
2. Workflow Milestones
ワークフローマイルストーン
Collaborating with other people.
ଞͷਓͱڞಉ࡞ۀ(Collaborate)Λߦ͏ɻ
Slide 60
Slide 60 text
!
Comment/Open
Pull Request or Issue
Workflow Milestones
Slide 61
Slide 61 text
!
How many of you have
opened or commented on an
issue or pull request?
Issueやpull requestを作成したり、コ
メントした事ある⼈人は⼿手をあげてくだ
さい。
Slide 62
Slide 62 text
!
3. Code Milestones
コードマイルストーン
Developing on GitHub.
GitHubで開発する。
Slide 63
Slide 63 text
!
Create repository
Code Milestones
Slide 64
Slide 64 text
!
How many of you have
created a repository?
レポジトリを作成した事ある
⼈人は⼿手をあげてください。
Slide 65
Slide 65 text
!
Push a commit
Code Milestones
Slide 66
Slide 66 text
!
How many of you have
pushed a commit?
Commitをプッシュした事があ
る⼈人は⼿手をあげてください。
Slide 67
Slide 67 text
!
User milestones = shared vocabulary
ユーザーɾマイルストーン = 共通⾔言語ɾ共通辞書
A common way to talk about
performance, expectations, and results.
パフォーマンス、期待と結果について話し合える共通の⾔言語
Slide 68
Slide 68 text
!
But, we still needed to
test them out.
ただし、テスト(検証)する
必要もあった。
Slide 69
Slide 69 text
!
Experiment #1.
New User Quiz
実験その１
新規ユーザークイズ
Slide 70
Slide 70 text
!
We asked 5 questions to
5% of new users signing up
from the United States.
⽶米国で新規登録したユーザーの5％に5
つの質問を聞いた。
Slide 71
Slide 71 text
69% programming
69％プログラミング
1. What are you most interested in?
何に最も興味があるか。
in?
Slide 72
Slide 72 text
76% brand new to Git
76％はGit未経験
2. How familiar are you with
Git for version control?
Gitの経験値はどれくらいか。
Slide 73
Slide 73 text
60% code
60％は開発している
3. Do you code?
開発してますか？
Slide 74
Slide 74 text
50% maybe
50％もしかしたら
4. Would you like to get involved in
Open Source?
オープンソースに参加したい？
Slide 75
Slide 75 text
58% not yet
58%はまだ無い
5. Do you already have a project to
start working on?
直ぐに作業を始めたいプロジェクトは既にあ
るか？
Personas: who we build GitHub for
GitHubを次の⼈人のために開発している：
ϓϩάϥϚʔ
ϑΝϯ
։ൃ͠ͳ͍ߩݙऀ ։ൃΛษڧ͍ͨ͠ਓ
ΦʔϓϯιʔεϓϩδΣΫτ
ͷཧऀ
ઌੜ
Slide 78
Slide 78 text
!
But, we still struggled to
locate and analyze data.
ただし、データを探しだして分
析するのが⼤大変だった。
Slide 79
Slide 79 text
!
Personas tell us that our biggest
growth opportunity is still with
programmer enthusiasts.
ペルソナを利⽤用することによってプログラ
マーɾファンがGitHubにとって⼀一番⼤大きい
Growthの機会だとわかります。
Slide 80
Slide 80 text
!
Especially if they use
GitHub at work.
GitHubを仕事で使っている
場合はこれは特に当てはまります。
Slide 81
Slide 81 text
!
How many of you use
GitHub at work?
GitHubを職場で使っている⼈人は
⼿手をあげてください。
Slide 82
Slide 82 text
!
Personas help us see growth
opportunities with
project managers and designers.
ペルソナはプロジェクトマネージャと
デザイナーでどのような成⾧長機会があ
るかを⾒見せてくれます。
Slide 83
Slide 83 text
!
To grow we need to build better
project management tools
成⾧長するにはよりよいプロジェクトɾマネージメントツール
を開発する必要があります。
GitHub
Issues
Slide 84
Slide 84 text
!
Students are aspiring hackers who
want to learn to use GitHub.
学⽣生はGitHubの利⽤用⽅方法を勉強し
たいプログラマー予備軍です。
Slide 85
Slide 85 text
!
To grow we need to make GitHub free for students.
ここで成⾧長するには学⽣生向けにGitHubを無料で提供する
必要があります。
Slide 86
Slide 86 text
!
education.github.com
Slide 87
Slide 87 text
!
Research is helpful to everyone!
リサーチは皆にとって重要です！
Slide 88
Slide 88 text
!
But, we still struggled to
locate and analyze data.
ただし、データを探しだして
分析するのが⼤大変だった。
Slide 89
Slide 89 text
!
Without tools it was hard for
people to get answers to
statistical questions.
ツールが無いと、統計に関
して質問がある⼈人に答えを
提供するのが難しったです
Slide 90
Slide 90 text
!
This wasn’t sustainable!
このやり⽅方では持続できない！
Slide 91
Slide 91 text
!
This wasn’t sustainable!
このやり⽅方は持続できない！
Slide 92
Slide 92 text
!
We built internal tools to guide
variance testing and
inform design decisions.
分散テストを導いて、デザインの決断を補
助するための内部ツールを作成した。
Slide 93
Slide 93 text
!
Statistics isn’t scary,
but it can feel intense.
統計は怖くない、
でも結構⼤大変に感じてしまうことはある。
Slide 94
Slide 94 text
4 key questions
ポイントになる4つの質問
1. Is the change better?/これは良い変更なのか
2. How much better?/どれくらい良いのか
3. How statistically valid is the result?/結果は統計的にどれ
くらいだとうなのか
4. Am I getting the whole picture?/状況を全て把握できてい
るのか
Slide 95
Slide 95 text
!
Frequency
Slide 96
Slide 96 text
!
We want everyone at GitHub to
be a user researcher.
GitHubの従業員全員が利⽤用者を
研究できるようにしたい
Slide 97
Slide 97 text
!
Frequency is an internal GitHub
app for people who don’t want
to become statisticians.
統計学者なりたくない⼈人向けの
GitHubの社内アプリ
Slide 98
Slide 98 text
!
Frequency: Internal GitHub Experiments
Slide 99
Slide 99 text
!
Let’s look at a
real experiment.
実際の実験を⾒見ましょう
Slide 100
Slide 100 text
!
How can we improve the % of new users
who make a pull request in their
first 28-days?
登録してから28⽇日以内にプルリクエス
トを作成する新規ユーザーの率を⾼高め
る事は可能か？
$
Slide 101
Slide 101 text
!
First call-to-action
after sign-up
アカウント作成後に⾏行動を
誘引(Call to action)
Slide 102
Slide 102 text
!
Call to
action
⾏行動を誘引
%
Slide 103
Slide 103 text
!
help.github.com
Help site with lots of content.
Slide 104
Slide 104 text
!
Designed 3 variants to see
if we could improve the likelihood
of a new user making a pull request.
ユーザーがプルリクエストを作成
する可能性を⾼高くするための３つ
の⽅方法をデザインしました。
Slide 105
Slide 105 text
!
Designed
3 variants
３つの異型をデザイン
Slide 106
Slide 106 text
Variant 1. “Control”
統制群
Slide 107
Slide 107 text
Variant 2. “New Bootcamp”
新⼈人集中研修
Slide 108
Slide 108 text
!
help.github.com
Help site with lots of content.
Slide 109
Slide 109 text
Variant 3. “Hello World”
Slide 110
Slide 110 text
!
guides.github.com
Pull Request Tutorial
Slide 111
Slide 111 text
!
Which one is the best?
どれが⼀一番良いのか？
Slide 112
Slide 112 text
!
Frequency: Internal GitHub Experiments
Slide 113
Slide 113 text
!
Let’s look at Frequency’s
outcomes
Frequencyの結果を⾒見ましょ
う
Slide 114
Slide 114 text
Social Milestone
ソーシャルɾマイルストーン
Slide 115
Slide 115 text
!
People in Hello World were
-5 to -.2% less likely
to star a project than the control.
“Hello World”の⼈人たちは統制群より
プロジェクトにスター★を付ける率-
5から-.2%が低かった。
Slide 116
Slide 116 text
Workflow Milestone
ワークフローɾマイルストーン
Slide 117
Slide 117 text
!
People in Hello World were
75.8 - 86.8% more likely
to make a pull request
than the control.
“Hello World”の⼈人たちは統制群よ
りプルリクエストを作成する率が
75.8 - 86.8%⾼高かった。
Slide 118
Slide 118 text
!
Success! 成功！
Pull requests are a more valuable GitHub
metric than pure retention.
純粋なりテンションよりプルリクエス
トの⽅方がGitHubとしては重要な数値で
ある。
$