당근마켓과 함께 성장하며 데이터 신뢰성 지켜내기 - 구글 데이터 웨비나 (2023.03)

구글 데이터 웨비나 (2023.03)

당근마켓과 함께 성장하며 데이터 신뢰성 지켜내기
서비스와 조직이 성장함에 따라 데이터 활용의 난이도는 급격하게 상승합니다. 이런 복잡한 환경 속에서 당근마켓 데이터 가치화 팀이 데이터의 신뢰성을 지켜내며 데이터를 가치로 연결하기 위한 노력들을 소개합니다.

Transcript

1. 당근마켓 데이터 가치화 팀 2023.03.16 구글 데이터 웨비나 사용자 데이터를 가치있게 쓰는 법 당근마켓과 함께 성장하며 데이터 신뢰성 지켜내기
2. 발표자 소개 데이터 가치화 팀 데이터 엔지니어링 매니저 https://bsk.im/ 네고왕 당근마켓 편에 등장했던 그 사람
3. 당근마켓 팀 https://about.daangn.com/
4. 당근마켓의 비전 이웃과 더 가까워지는 따뜻한 동네를 만들어요.
5. 데이터 가치화 팀의 비전 이웃과 더 가까워지는 따뜻한 동네를 만드는데 필요한 크고 작은 의사결정들을 데이터를 활용해 배우고 이뤄내는 당근 마켓이 된다.
6. Data -> Info -> Value -> 6 Business Impacts 데이터를 가치로
7. Data -> Info -> Value -> 7 Business Impacts 데이터를 가치로
8. 당근마켓 팀 사용자 가치 당근마켓 팀 - https://about.daangn.com
9. Data -> Info -> Value -> 9 Business Impacts 데이터를 가치로 User
10. 데이터를 통한 Business Impacts Data driven Application 피드, 검색, 알림 Notification 등 데이터가 어플리케이션으로서 활용되며 만들어내는 가치 Data informed Scientific Decision Making 가설과 실험을 통해 사용자와 비즈니스와 관련된 사실을 확인하고, 그 사실 기반으로 의 사결정하는 프로세스
11. 데이터 가치화 팀의 고객 데이터 가치화 팀의 고객은 사용자를 위해 크고 작은 의사결정을 하는 당근마켓의 구성 원 분들이에요. 데이터는 바다 한 가운데에서 방향을 잡고 길을 찾을 수 있도록 해주는 나침반이에요. 데 이터 가치화 팀은 당근마켓의 구성원들이 데이터라는 나침반을 의사결정에 활용할 수 있 도록 보급하고 활용토록 해요.
12. 데이터 엔지니어링 at 당근마켓 데이터 엔지니어들은 데이터를 가치화하는 과정에서 발생하는 문제들을 소프트웨어 엔 지니어링을 통해 해결해요. 빠르게 성장하는 당근마켓에 발맞추어 미래에 병목이 되지 않을 데이터 시스템을 설계하 고, 자동화된 테스트와 시스템에 대한 관측성 확보를 통해 데이터의 신뢰성을 지켜내요.
13. 데이터 엔지니어링 at 당근마켓 데이터 엔지니어들은 데이터를 가치화하는 과정에서 발생하는 문제들을 소프트웨어 엔 지니어링을 통해 해결해요. 빠르게 성장하는 당근마켓에 발맞추어 미래에 병목이 되지 않을 데이터 시스템을 설계하 고, 자동화된 테스트와 시스템에 대한 관측성 확보를 통해 데이터의 신뢰성을 지켜내요. Scalability Automation / Testability Observability Data Quality
14. Software Engineering X Data Engineering Data Reliability Engineering: A New Approach to Data Quality | Bigeye https://youtu.be/u7sJmmAyJT4
15. 데이터 엔지니어링 at 당근마켓 견고한 소프트웨어 엔지니어링을 기반으로 고품질의 데이터가 병목 없이 흐르며 가치를 만들어낼 수 있게 한다.
16. 데이터 가치화를 향한 데이터 가치화 팀의 여정
17. Data -> Info -> Value -> 17 Business Impacts (User)
18. Phase 1. 성장하는 서비스와 폭발하는 데이터 수요
19. 견고하지 못한 데이터 인프라 Data Reliability Engineering: A New Approach to Data Quality | Bigeye https://youtu.be/u7sJmmAyJT4
20. 견고하지 못한 데이터 인프라 신뢰할 수 있는 소스 데이터 확보하기 Analytics SaaS: 과집계, 오집계, 적재 속도의 불확실성, 블랙박스인 기준들 In house event collection: 신뢰성, 내부 데이터와의 연결성, 통일된 기준 한 곳으로 데이터를 모으기 데이터 파편화 문제 점점 늘어나는 데이터 소스들과 지표들 • 하루가 멀다하고 늘어나는 서비스 데이터베이스 • 서드파티 데이터들 ex. Appsflyer, … BigQuery로 데이터를 통합
21. Karrot Data Pipeline Simplified
22. Phase 2. 숨쉬듯 데이터와 함께 일하는 조직으로
23. 성장하는 서비스, 폭발하는 데이터 수요 좋은데… 데이터가 한 곳으로 모여 점점 많이 쌓이고 활용되면서 데이터 활용에 병목이 생기기 시작하는데… • 데이터가 너무 많아 찾기 어렵고 복잡해지는 문제 • 데이터 형식과 활용 방법의 파편화 문제 • 데이터 신뢰성 문제
24. 어떤 데이터가 어디에 있는지 알 수 없는 환경
25. Data Discovery Platform • 데이터 발견하기: 어떤 데이터가 어디에 있나요? ◦ ex. 게시글 피드 노출 현황을 알고 싶은데 어디서 찾아봐야 하나요? • 데이터의 의미 이해하기: 이 데이터는 뭐고, 어떻게 생겼고, 어떻게 쓰는가? ◦ ex. 게시글 테이블을 찾았는데, 이 필드는 대체 무슨 뜻이고 어떻게 쿼리해야 하나요? • 데이터의 소유자와 여정 Lineage , 생애주기 이해하기: 이 데이터는 어디에서 발생하고, 누 가 만들고 있나요? 이 데이터는 어떤 테이블에서 계산되고, 어디서 쓰이나요? ◦ ex. 게시글 테이블은 어떤 서비스에서 온건가요? 이 테이블은 어떻게 계산된 건가요?
26. Data Discovery Platform DataHub
27. Automatic BigQuery Table Lineage w/ Dataplex
28. 중앙화된 스키마 레지스트리로 이벤트 명세를 관리 DataHub 데이터 형식이 다른 문제: 이벤트 스키마 관리 Schema Registry 이벤트 스키마 정 의 Data Pipeline Schema Git Repo CI/CD Github PR
29. 데이터 형식이 다른 문제: 이벤트 네이밍 컨벤션의 필요성 네이밍은 원래 어렵다 feat. 개발자의 3대 난제 점점 심해지는 이벤트 네이밍 규칙의 파편화 팀마다 서로 다른 네이밍 컨벤션 같은 이름 다른 의미, 같은 의미 다른 이름
30. 전사 이벤트 네이밍 컨벤션 client_clicked_fleamarket_writeArticle_categoryPrediction_categoryButton_v1 클라이언트 이벤트 - 클릭 - 중고거래 서비스- 게시물 작성 화면 - 카테고리 예측 영역 - 카테고리 버튼 - 버전 1
31. 자동화된 이벤트 로깅으로 영원히 고통 받는 모바일 이벤트 명세 설계 및 구현 • 사람이 이벤트를 추가하다 보면 결국 실수가 생긴다 • 중앙화되어 있고, 규칙이 있다면 자동화가 가능한 영역이 아닐까? Primitive event를 기반 사용자 이벤트 로깅 자동화! • ex. view, click, screen enter/leave, scroll
32. Phase 3. 데이터로 학습하며 성장하는 당근마켓
33. 우리의 나침반, 지표 Mixpanel - The Guide to Product Metrics https://mixpanel.com/de/content/guide-to-product-metrics/full-report/
34. 의사결정에 지표를 활용할 수 없는 환경 Getting numbers is easy; getting numbers you can trust is hard. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing
35. 의사결정에 지표를 활용할 수 없는 환경 • 지표를 볼 때마다 값이 달라져요. • 지표 계산하는 방식이 어렵고 신뢰하기 어려워요. • 지표가 여기저기 흩어져 있어요. 볼 때마다 바뀌는 지표값 지표 계산 기준의 변경
36. 지표 플랫폼, KarrotMetrics KarrotMetrics의 대표 기능 • 디멘젼 dimension 정의 • 데이터 의존성 관리 • 스케줄링 • 편리한 지표 추출: 몇 줄의 sql로 각 국가 별/디멘젼 별 지표를 만들어요. • 지표가 통일된 기준으로 정의되고, 중앙으로 모여요. • 다른 팀이 정의한 지표나 디멘젼을 누구나 사용 가능해요.
37. 지표 플랫폼, KarrotMetrics 지표 정의 KarrotMetrics Repository KarrotMetrics Pipeline Extract metric source events Dimension-level metric aggregation Github PR
38. 데이터를 활용한 의사결정의 완성 실험 Online Controlled Experiments
39. 당근마켓과 실험 직관만 믿고 까불었다가 망한 PM의 사연 (Demi) - 당근마켓 팀블로그 https://medium.com/daangn/직관 만-믿고-까불었다가-망한-pm의-사연-61946dc969eb 1주 1개 실험하는 프로덕트 팀이 되는 여정 (Matthew) - 당근마켓 팀블로그 https://medium.com/daangn/1주-1개-실험하는-프로덕트-팀이-되는-여정-b8a4c337a8e1
40. 의사결정에 실험을 활용할 수 없는 환경 어떻게 사용자를 나누나요? 어떻게 실험 결과를 판단하나요? 어떤 실험이 진행되고 있나요?
41. 의사 결정에 데이터를 활용할 수 없는 환경 어떻게 사용자를 나누나요? 어떻게 실험 결과를 판단하나요? 어떤 실험이 진행되고 있나요? 실험플랫폼
42. 실험플랫폼을 구성하는 요소 • 사용자/트래픽 나누기 Randomizer • 실험변수를 통한 분기 Remote config feature flag • 실험 결과 분석 Result Analysis pipeline
43. 실험플랫폼 결과 분석 파이프라인
44. 실험플랫폼 Overview
45. 실험플랫폼 모수 및 SRM
46. 실험플랫폼 결과 분석
47. 2022 당근마켓 실험 연말정산
48. 앞으로의 과제
49. Data -> Info -> Value -> 49 Business Impacts 데이터를 가치로 Revisit User
50. Data Valuing Flywheel
51. Data Valuing Flywheel Intuition
52. Data Valuing Flywheel Data
53. Data Valuing Flywheel Data informed Decision
54. Data Valuing Flywheel Data Driven Application
55. 3 Key factors of Information Trustworthy Actionable Accessible
56. 3 Key factors of Information Trustworthy 신뢰할 수 있는 정보 Data Quality Observability Actionable 누구나 이해할 수 있고, 의사결정으로 이어지는 정보 Accessible 누구나 접근할 수 있고, 조직의 지식으로 축적되며 쉽게 찾을 수 있는 정보
57. 낮은 품질의 데이터로 발생하는 비용 Data Reliability Engineering: A New Approach to Data Quality | Bigeye https://youtu.be/u7sJmmAyJT4
58. 3 Key factors of Information Trustworthy x Actionable x Accessible
59. Data Valuing Flywheel Cross functional Teamwork Software Engineer, Data Data Scientist, Decision
60. Thank You. 당근마켓과 함께 할 멋진 동료를 찾고 있어요! 🥕 데이터 엔지니어 🥕 데이터 분석가 당근마켓 채용 페이지 바로가기 데이터 가치화 팀과 티타임 하기 Ian 김범수 ian daangn.com 티타임 바로 신청하기