Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[월간 데이터리안 세미나 11월] 데이터 실험 문화의 핵심: A/B 테스트

[월간 데이터리안 세미나 11월] 데이터 실험 문화의 핵심: A/B 테스트

[월간 데이터리안 세미나 11월] 데이터 실험 문화의 핵심: A/B 테스트
강연 자료입니다.
지난 세미나는 인프런에서 다시 보실 수 있고, 슬라이드에 나와있는 데이터리안 오픈카톡방에서 다음 세미나 소식을 빠르게 받아보실 수 있습니다.
---
다음 달 라이브 세미나 안내: https://www.datarian.io/webinar
세미나 다시보기: https://www.inflearn.com/roadmaps/564

데이터리안

November 08, 2022
Tweet

More Decks by 데이터리안

Other Decks in Technology

Transcript

  1. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음

    (아래는 굉장히 간단한 예시) - 여행 상품 결제 시 여행자 보험을 함께 결제하는 기능을 만들어 테스트하려고 함 - 하루에 2000 건 정도 여행 상품 결제가 일어나는 서비스 (연 730,000 건) - 여행자 보험을 함께 결제한다면 건 당 이익은 $3 - 기능을 개발하는데 개발 공수가 150 day 들어가고, 1 day 당 비용은 $500 이기 때 문에 이 기능의 개발 비용은 총 $75,000 - 올해 안으로 손익 분기를 넘기기 위해서는 25,000 건의 여행자 보험 결제가 일어 나야 함. 이는 전체 여행 상품 결제의 3.42%에 해당 - 이 때 신규 기능의 최소 효과 크기는 3.42%
  2. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음

    - 서비스의 트래픽이 충분하지 않음 - 서비스의 트래픽은 충분하지만, 동시에 여러 실험을 한다면 한가지 실험에 할당할 수 있는 규모에 한계가 있음 - 특정 머신러닝 모델의 경우 학습을 위한 최소 트래픽이 필요한 경우도 있음 - 고객의 행동이 주기에 영향을 받음
  3. 데이터 분석 캠프 30% 할인 • • • • •

    🌱 📈 🚀 👩🏻‍🔧 ⏰