알아두면 쓸데있는 잡다한 A/B 테스트 이야기

A/B 테스트란 무엇인지 기초 설명부터,
- 실험 데이터는 많으면 많을수록 좋은 걸까요?
- 테스트를 해봤는데, A군과 B군에 지표 차이가 없을 때에는 어떻게 해야 할까요?
- 테스트를 시작하고 지표가 확 올랐다가 점점 떨어지는데, 뭔가 문제가 있는걸까요?
등 알아두면 쓸모있는 잡다한 실무 A/B 테스트 이야기들을 해보겠습니다.

(준비중) 세미나 다시보기: https://www.inflearn.com/roadmaps/564

Transcript

1. 월간 데이터리안 알아두면 쓸데있는 잡다한 A/B 테스트 이야기 윤선미
23. 트윗 쓰기 창을 본 것만 아 니라, 실제로 작성까지 완 료했는지도 봐야겠어!
29. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음 (아래는 굉장히 간단한 예시) - 여행 상품 결제 시 여행자 보험을 함께 결제하는 기능을 만들어 테스트하려고 함 - 하루에 2000 건 정도 여행 상품 결제가 일어나는 서비스 (연 730,000 건) - 여행자 보험을 함께 결제한다면 건 당 이익은 $3 - 기능을 개발하는데 개발 공수가 150 day 들어가고, 1 day 당 비용은 $500 이기 때 문에 이 기능의 개발 비용은 총 $75,000 - 올해 안으로 손익 분기를 넘기기 위해서는 25,000 건의 여행자 보험 결제가 일어 나야 함. 이는 전체 여행 상품 결제의 3.42%에 해당 - 이 때 신규 기능의 최소 효과 크기는 3.42%
30. 다양한 현실적 문제들 - 최소 효과 크기(MDE)를 정하기 쉽지 않음 - 서비스의 트래픽이 충분하지 않음 - 서비스의 트래픽은 충분하지만, 동시에 여러 실험을 한다면 한가지 실험에 할당할 수 있는 규모에 한계가 있음 - 특정 머신러닝 모델의 경우 학습을 위한 최소 트래픽이 필요한 경우도 있음 - 고객의 행동이 주기에 영향을 받음
39. • • • •