[월간 데이터리안 세미나 11월] 데이터 실험 문화의 핵심: A/B 테스트

[월간 데이터리안 세미나 11월] 데이터 실험 문화의 핵심: A/B 테스트
강연 자료입니다.
지난 세미나는 인프런에서 다시 보실 수 있고, 슬라이드에 나와있는 데이터리안 오픈카톡방에서 다음 세미나 소식을 빠르게 받아보실 수 있습니다.
---
다음 달 라이브 세미나 안내: https://www.datarian.io/webinar
세미나 다시보기: https://www.inflearn.com/roadmaps/564

Transcript

1. 데이터 실험 문화의 핵심 : A/B 테스트 월간 데이터리안
2. 데이터리안 소개 ☼ ☼ ☼ ☼ ☼ ☼ ☼ ☼
3. 월간 데이터리안 세미나
4. 진행 순서
5. 연사 & 패널
6. 월간 데이터리안 직관만 믿고 까불었다가 망한 PM의 사연 Demi
7. 망한 썰 들려드립니다
11. 배포일
19. 👑
31. 월간 데이터리안 직관만 믿고 까불었다가 망한 PM의 사연 Demi
33. 월간 데이터리안 알아두면 쓸데있는 잡다한 A/B 테스트 이야기 윤선미
55. 트윗 쓰기 창을 본 것만 아 니라, 실제로 작성까지 완 료했는지도 봐야겠어!
61. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음 (아래는 굉장히 간단한 예시) - 여행 상품 결제 시 여행자 보험을 함께 결제하는 기능을 만들어 테스트하려고 함 - 하루에 2000 건 정도 여행 상품 결제가 일어나는 서비스 (연 730,000 건) - 여행자 보험을 함께 결제한다면 건 당 이익은 $3 - 기능을 개발하는데 개발 공수가 150 day 들어가고, 1 day 당 비용은 $500 이기 때 문에 이 기능의 개발 비용은 총 $75,000 - 올해 안으로 손익 분기를 넘기기 위해서는 25,000 건의 여행자 보험 결제가 일어 나야 함. 이는 전체 여행 상품 결제의 3.42%에 해당 - 이 때 신규 기능의 최소 효과 크기는 3.42%
62. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음 - 서비스의 트래픽이 충분하지 않음 - 서비스의 트래픽은 충분하지만, 동시에 여러 실험을 한다면 한가지 실험에 할당할 수 있는 규모에 한계가 있음 - 특정 머신러닝 모델의 경우 학습을 위한 최소 트래픽이 필요한 경우도 있음 - 고객의 행동이 주기에 영향을 받음
71. • • • •
81. 월간 데이터리안 쉬는시간
82. • • • • 12월 “데이터 분석가 커리어: 사이드 프로젝트부터 퍼블릭 스피킹까지” 🕐
83. 데이터 분석 캠프 30% 할인 • • • • • 🌱 📈 🚀 👩🏻‍🔧 ⏰
84. 데이터리안 데이터 분석 정보 공유방 • • • • •
85. 월간 데이터리안 2부 - Q&A
86. 연사 & 패널
95. Ⅱ
101. 월간 데이터리안 세미나에 참여해주셔서 감사합니다.