Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
ABテストの検定超入門
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
tomomoto_Lv3
March 29, 2017
Technology
580
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
ABテストの検定超入門
非エンジニア、非分析者の方向け。
ABテストの検定の用語とかイメージがわからない人向け。
tomomoto_Lv3
March 29, 2017
Transcript
6 slides
ABテストの検定 超⼊⾨ for ⾮エンジニア/分析者 @tomomoto_Lv3
検定がなんで必要? CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式
20⼈ 1,000⼈ 1.96% A/B⽅式のCVR(UU)を⽐較した結果、B⽅式のほうが優れている! でも、これって偶然かも? 検定を使って、偶然だったら何%の確率で発⽣するか考えよう!
検定って何? 出⼒イメージ:ABテストの結果の差が偶然発⽣する確率は、3.2%です。 A B A B AとBに差がないと仮定 test A test
B ランダムに抽出する ABテストの結果 test Aとtest Bの差がABテストの結果の差以上になる確率を計算 検定
95%検定、99%検定の数字って何? これは、偶然ではないと結論づけるために 必要な偶然に起こらない確率を表しています。 つまり95%検定は、 偶然に起こる確率が5%以下なら偶然ではないと結論。 つまり99%検定は、 偶然に起こる確率が1%以下なら偶然ではないと結論。
検定から判断する⽅法(1/2) CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式
20⼈ 1,000⼈ 1.96% ABの差が偶然発⽣する確率は、40.1%です (*この時、統計⽤語ではp値が0.401といいます) 40.1%は、5.0%(100%-95%)以下なので、 AとBの差は偶然である。つまり、AとBには差がない。 (*この時、統計⽤語ではAとBの間には有意差はないといいます) 検定 判断(95%検定の場合)
検定から判断する⽅法(2/2) CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式
30⼈ 1,000⼈ 2.91% ABの差が偶然発⽣する確率は、1.0%です (*この時、統計⽤語ではp値が0.010といいます) 1.0%は、5.0%(100%-95%)以下なので、 AとBの差は偶然ではない。つまり、AとBには差がある。 (*この時、統計⽤語ではAとBの間には有意差があるといいます) 検定 判断(95%検定の場合)
More Decks by tomomoto_Lv3
See All by tomomoto_Lv3
blockchain tokyo #8 LT コンソーシアム型ブロックチェーンの設計考察@医療データ
tomomoto_lv3
0
520
AbejaAINight 持続可能な医療の実現のための サスメド株式会社の取り組み
tomomoto_lv3
0
75
dplyr様って もはや言語ではないのか? - Redshiftの場合 -
tomomoto_lv3
2
1.7k
Other Decks in Technology
See All in Technology
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
490
お風呂場をサーバルームにしよう
yusuke427
0
400
現地速報! Microsoft Ignite アップデートレポート
kasada
1
460
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
フロントエンドのテストカバレッジは 100%強制がいい
bengo4com
3
1.3k
実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計
kazatohiei
0
170
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
860
Well, that’s weird…
csswizardry
1
200
[DBRE Summit 26] DBRE はデータベース運用をどう変えたのか
_awache
0
130
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
520
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
310
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
230
Featured
See All Featured
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
910
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
28
3.8k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
440
Faster Mobile Websites
deanohume
310
32k
Site-Speed That Sticks
csswizardry
13
1.6k
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
61k
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
Darren the Foodie - Storyboard
khoart
PRO
5
4.1k
Believing is Seeing
oripsolob
1
290
Public Speaking Without Barfing On Your Shoes - THAT 2023
reverentgeek
1
670
Are puppies a ranking factor?
jonoalderson
2
4.2k
Large-scale JavaScript Application Architecture
addyosmani
516
110k