LINEのデータ分析組織の紹介 / Introduction to LINE data analysis organization

LINE株式会社 Data Platform室 Data Solutionsチーム マネージャー 副田俊介

Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」での発表資料です
https://forkwell.connpass.com/event/214982/

Transcript

1. LINE のデータ分析組織の紹介 Data Platform dept., LINE Corporation 1
2. 副田俊介 Shunsuke SOEDA Manager, Data Solutions Team, Data Platform Dept., Data Engineering Center Postdoctoral Researcher → SWE in Partnership, global web company → Engineer in Japanese media and HR giant Join LINE in 2016 PdM in LINE Ads Platform + Data Labs → PdM + Manager in Data Platform
3. Agenda 1. Introduction of LINE 2. Architecture & Scale 3. History 4. Organizations 5. Conclusion 3
4. Introduction of LINE 4
5. LINEの概要 5 コミュニケーションアプリ「LINE」 スマートポータル = スーパーアプリ構想の実現
6. LINEのユーザー数 6
7. Architecture & Scale 7
8. Data Flow & Architecture 8 On premises OSS + 商用ソフト + 独自開発システム Information Universe
9. Tool/API Compute Storage Data Governance HDFS HBase Elasticsearch Kafka YARN Kubernetes Hive Spark Trino Flink Ranger Yanagishima OASIS LINE Analytics IU Web Tableau Jupyter RStudio Datahub Central Dogma Kibana Grafana Prometheus 9 Information Universe Technical Stack
10. Scale of Information Universe 10 HDFS d αʔϏε d5#೔  d୆ 1# ਓ %"6
11. History 11
12. データ利活用方針の変遷 12 複数の 分析環境 By service データの 集約と 組織化 Data Labs サービス側 への開放 Data open 2016年3月 2018年5月 Startup Centralized Distributed ߴ౓Խ ͍ͨ͠ εέʔϧ ͠ͳ͍
13. Data Open 推進に向けた組織 13 One stop data org Separation of platform %BUB
    -BCT %BUB
    &OHJOFFST
    JO .FTTBHJOH
    1MBUGPSN 2018年5月 2019年3月 .BDIJOF
    -FBSOJOH %BUB
    4DJFODF %BUB
    .BOBHFNFOU %BUB
    1MBUGPSN %BUB
    &OHJOFFSJOH %BUB
    1MBOOJOH .BDIJOF
    -FBSOJOH %BUB
    4DJFOUJTUT
14. Organization 14
15. 組織構成と役割 15 LINE Data Engineering Center Data Platform Department データ基盤の 運用と高度化 Data Management Department データ活用の促 進とルール整備 Data Science Center Machine Learning Department 機械学習関係の 開発・運用 Data Science Department データの分析に よる問題解決 LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department
16. Data Platform Department 16 LINE Data Engineering Center Data Platform Department Data Platform Engineering Web & API Development Data ETL Product Management Technical Consultation Data Management Department Data Science Center Machine Learning Department Data Science Department LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department
17. 他組織とのかかわり • データの管理や活用について、サービスが self serve できる体制に移行中 • 専門の機械学習・統計分析チームを持つ サービスもある サービス 企画・開発 •データ利用のルールに関して共同して策定 •リスクのあるデータ利用に関しては都度 チェック セキュリティ センター
18. Conclusion 18
19. LINEのデータ組織の特色 •オンプレ・自社運用の Data Platform サービスの ユーザー数 が多い •サービス側でのデータ利活 用の推進 サービスの 数が多い
20. Thank you! 20
21. Appendix
22. IU Architecture LINE Engineering Blog 2020.10.20
23. Challenges 2021.5.19 Future of LINE Data Platform CLOSING THE DISTANCE Data Reactivity Data Democracy Data Observability Always Data-driven As ML infrastructure LINE CODE 04
24. Data Management Department 24 LINE Data Engineering Center Data Platform Department Data Management Department Data Strategy Data Governance Data Product Biz Consultation Inquiry Management Data Science Center Machine Learning Department Data Science Department LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department