LINE のデータ分析組織の紹介 Data Platform dept., LINE Corporation 1

副田俊介 Shunsuke SOEDA Manager, Data Solutions Team, Data Platform Dept., Data Engineering Center Postdoctoral Researcher → SWE in Partnership, global web company → Engineer in Japanese media and HR giant Join LINE in 2016 PdM in LINE Ads Platform + Data Labs → PdM + Manager in Data Platform

Agenda 1. Introduction of LINE 2. Architecture & Scale 3. History 4. Organizations 5. Conclusion 3

Introduction of LINE 4

LINEの概要 5 コミュニケーションアプリ「LINE」 スマートポータル = スーパーアプリ構想の実現

LINEのユーザー数 6

Architecture & Scale 7

Data Flow & Architecture 8 On premises OSS + 商用ソフト + 独自開発システム Information Universe

Tool/API Compute Storage Data Governance HDFS HBase Elasticsearch Kafka YARN Kubernetes Hive Spark Trino Flink Ranger Yanagishima OASIS LINE Analytics IU Web Tableau Jupyter RStudio Datahub Central Dogma Kibana Grafana Prometheus 9 Information Universe Technical Stack

Scale of Information Universe 10 HDFS d αʔϏε d5#೔ d୆ 1# ਓ %"6

History 11

データ利活用方針の変遷 12 複数の 分析環境 By service データの 集約と 組織化 Data Labs サービス側 への開放 Data open 2016年3月 2018年5月 Startup Centralized Distributed ߴ౓Խ ͍ͨ͠ εέʔϧ ͠ͳ͍

Data Open 推進に向けた組織 13 One stop data org Separation of platform %BUB-BCT %BUB&OHJOFFSTJO .FTTBHJOH1MBUGPSN 2018年5月 2019年3月 .BDIJOF-FBSOJOH %BUB4DJFODF %BUB.BOBHFNFOU %BUB1MBUGPSN %BUB &OHJOFFSJOH %BUB1MBOOJOH .BDIJOF -FBSOJOH %BUB4DJFOUJTUT

Organization 14

組織構成と役割 15 LINE Data Engineering Center Data Platform Department データ基盤の 運用と高度化 Data Management Department データ活用の促 進とルール整備 Data Science Center Machine Learning Department 機械学習関係の 開発・運用 Data Science Department データの分析に よる問題解決 LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department

Data Platform Department 16 LINE Data Engineering Center Data Platform Department Data Platform Engineering Web & API Development Data ETL Product Management Technical Consultation Data Management Department Data Science Center Machine Learning Department Data Science Department LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department

他組織とのかかわり • データの管理や活用について、サービスが self serve できる体制に移行中 • 専門の機械学習・統計分析チームを持つ サービスもある サービス 企画・開発 •データ利用のルールに関して共同して策定 •リスクのあるデータ利用に関しては都度 チェック セキュリティ センター

Conclusion 18

LINEのデータ組織の特色 •オンプレ・自社運用の Data Platform サービスの ユーザー数 が多い •サービス側でのデータ利活 用の推進 サービスの 数が多い

Thank you! 20

Appendix

IU Architecture LINE Engineering Blog 2020.10.20

Challenges 2021.5.19 Future of LINE Data Platform CLOSING THE DISTANCE Data Reactivity Data Democracy Data Observability Always Data-driven As ML infrastructure LINE CODE 04

Data Management Department 24 LINE Data Engineering Center Data Platform Department Data Management Department Data Strategy Data Governance Data Product Biz Consultation Inquiry Management Data Science Center Machine Learning Department Data Science Department LINE Data Engineering Center Data Platform Department Data Management Department Data Science Center Machine Learning Department Data Science Department