Takahiro Moteki, Data Platform, LINE 2022.05 LINEのData Platform室が実践する大規模 分散環境のCapacity Planning

5BLBIJSP.PUFLJ !ULNPUFLJ -*/&גࣜձࣾ %BUB1MBUGPSNࣨ 1K. 43& • ೥ɿגࣜձࣾαΠόʔΤʔδΣϯτೖࣾ • ޿ࠂؔ܎ͷ%BUB1MBUGPSNશൠͷ։ൃӡ༻ • ೥ɿ-*/&גࣜձࣾೖࣾ • )BEPPQΫϥελͱΤίγεςϜͷӡ༻ • %BUB1MBUGPSNશମͷܭը΍ӡ༻վળ

*6 -*/&%BUB1MBUGPSN

No content

8IBU`T*6

%BUB'MPX5FDI4UBDL Kafka Flink Flink Flink ES HDFS External System Service-side System YARN dump Kibana Tableau Jupyter yanagishima OASIS Datahub LINE Analytics Hive (Tez) Spark Trino (Presto) k8s Storage Ingestion Computing BI Tools Github CentralDogma Ranger Prometheus Grafana Governance IU Web k8s

.BDIJOFT )%'4$BQBDJUZ 1# :"3/W$PSFT ,FZ7BMVFr *OGSBTUSVDUVSF

+PCTEBZ )JWFUBCMFT *ODPNJOHSFDPSETTFD ,FZ7BMVFr %BUB6TBHF

0SHBOJ[BUJPO

Data Engineering Center Data Science Center Data Platform dept Data Management dept Data Engineering Team IU Tech Forward Team IU Dev Team Data ETL Team Data Solution Team 0SHBOJ[BUJPO

$BQBDJUZ1MBOOJOH

$BQBDJUZ1MBOOJOH 8IBUJT$BQBDJUZ1MBOOJOHGPS*6 • είʔϓ͸ɺطଘγεςϜ /PU৽نγεςϜ • ੍໿ͱͯ͠ɺҰ౓ܾΊͨσʔληϯλʔ΍༧ࢉΛ؆୯ʹมߋग़དྷͳ͍ • େن໛؀ڥͷ$BQBDJUZ1MBOOJOHͷࣄྫ͕গͳ͍ γεςϜͷར༻͕૿େ͢ΔʹͭΕͯɺγεςϜΛͲͷΑ͏ʹ֦ ு͢Δ͔ܭըΛ࡞੒͠ɺ࣮ߦ͢Δ

αʔό֦ுܭըͷ࣮ߦ αʔό֦ுܭըͷ ࡞੒ ݱঢ়ͷ೺Ѳ $BQBDJUZ1MBOOJOHͷϑϩʔ )PXUPEP$BQBDJUZ1MBOOJOH কདྷͷ༧ଌ ϨϏϡʔ

1SPCMFN • ݱঢ়ͷ೺Ѳ͕ࠔ೉ • େن໛ͳ؀ڥͷͨΊɺߟྀ͢Δ͜ͱ͕ଟ͗͢Δ • ܭࢉϛεɺߟྀ࿙Ε͕ൃੜ͠΍͍͢ • ݱঢ়ͷ೺Ѳ͕ਖ਼͘͠Ͱ͖ͳ͍ͱ কདྷ༧ଌͷਫ਼౓͕௿Լɺܭըͷ࡞੒ʹ΋Өڹ • มߋ؅ཧ͕େม ߏ੒΍ઃఆͷ೺Ѳ ར༻ྔͷ೺Ѳ

0CKFDUJWF ݱঢ়ͷ೺ѲΛޮ཰Խ

4FSWFS$BUBMPH

αʔό ϗετ ͷϝλσʔλΛऩूͨ͠σʔλϕʔε 4PMVUJPO4FSWFS$BUBMPH 6TJOHEVNNZEBUB )PTU/BNF $PNQPOFOU 3PMF ʜ *VI@TWS )BEPPQ 803,&3 ʜ *VI@TWS )BEPPQ "%.*/ ʜ JVL@TWS ,BGLB #30,&3 ʜ )PTU/BNF %BUB$FOUFS .BDIJOF5ZQF ʜ *VI@TWS " 1. ʜ *VI@TWS " 7. ʜ JVL@TWS # 1. ʜ )PTU/BNF WDPSF NFNPSZ 6OJU ʜ *VI@TWS ʜ *VI@TWS ʜ JVL@TWS ʜ $PTUNPOUI ݪՁঈ٫ऴྃ ʜ )PTU/BNF ʜ *VI@TWS ʜ *VI@TWS ʜ JVL@TWS %BUB5ZQF $SFEFOUJBM ʜ )PTU/BNF 4ZTUFN%BUB : ʜ *VI@TWS 0QFSBUJPOBM %BUB : ʜ *VI@TWS $SFEFOUJBM : ʜ JVL@TWS WDPSF VTBHFNJO EJTL VTBHFEBZ ʜ )PTU/BNF ʜ *VI@TWS σʔληϯλʔ΍Ծ૝Խͷ৘ใ ίϯϙʔωϯτ ϛυϧ΢ΣΞ ͷߏ੒৘ใ αʔό)8ͷߏ੒৘ใ ࢿ࢈΍ձܭ৘ใ ηΩϡϦςΟ৘ใ ར༻ྔͷ৘ใ DB

4PMVUJPO4FSWFS$BUBMPHBOE#* Depatment A データセンターや サーバHWの情報 DB Depatment B 会計や資産の情報 DataPlatform コンポーネント (ミドルウェア)の情報 σʔλͷऔಘ σʔλͷอଘ ΧλϩάԽ ՄࢹԽ෼ੳ 8FC(6*#*UPPM %BJMZ .POUIMZ

&YBNQMF

&YBNQMF/VNCFSPGDPNQPOFOUTBOE/VNCFSPGTF SWFSTCZDPNQPOFOU

&YBNQMF/VNCFSPGTFSWFSTCZEBUBDFOUFS

&YBNQMF"NPVOUPGDPTUTCZPQFSBUJPOBMUFBN 6TJOHEVNNZEBUB

• ༷ʑͳ৚݅Ͱɺ؆୯ʹݱঢ়ͷ೺Ѳ͕Մೳ • ࠷৽ͷݱঢ়͕೺ѲՄೳ • কདྷ༧ଌɺܭը࡞੒ͷਫ਼౓޲্ • Πϯγσϯτൃੜ࣌ʹɺো֐ൣғΛಛఆ͠΍͍͢ *OTJHIU

• ωοτϫʔΫͷ৘ใ • ίϯϙʔωϯτؒͷ௨৴ܦ࿏ɺϗετؒͷ௨৴ܦ࿏ɺଳҬ੍ݶ • ωοτϫʔΫ࢓༷ͷݱঢ়೺Ѳ • αʔόͷઃఆ • ϛυϧ΢ΣΞɺ04 • γεςϜύϑΥʔϚϯεͷ$BQBDJUZ1MBOOJOHʹ׆༻ • γεςϜͷӡ༻πʔϧͷ৘ใ • $*$%ɺ4ZTUFN.POJUPSJOHɺ#BDLVQ 'VUVSF1SPTQFDUT

$BQBDJUZ1MBOOJOHʹඞཁͳεΩϧ • σʔληϯλʔɺϋʔυ΢ΣΞɺΫϥ΢υɺωοτϫʔΫɺ04ͷجૅ஌ࣝ • %BUB1MBUGPSNͷίϯϙʔωϯτ )BEPPQ ,BGLB౳ ͷ஌ࣝ • σʔλ΍ϝτϦΫεΛूܭɺ෼ੳ͢ΔεΩϧ • ໰୊ղܾೳྗ

࠾༻৘ใ%BUB1MBUGPSN 4ZTUFN"ENJOJTUSBUPS ϛογϣϯ %BUB1MBUGPSNશମͷ؍఺͔ΒɺγεςϜܭըͷ࡞੒ͱӡ༻վળʹϑΥʔΧε͠࠷దԽ͢Δ ۀ຿ྫ ΩϟύγςΟϓϥϯχϯάɺίετ࠷దԽ ΫΤϦɺσʔλอଘํ๏ͷվળ ɺγεςϜͷ։ൃӡ༻ ٻΊΔਓ෺ཁ݅ ඞਢ ҎԼͷ߲໨ͷ͏ͪɺͭҎ্ܦݧ͕౰ͯ͸·Δํ ɾ-JOVYΛར༻ͨ͠γεςϜͷΦϖϨʔγϣϯ೥Ҏ্ܦݧ ɾ)BEPPQ؀ڥɺ·ͨ͸ͦΕʹ૬౰͢Δσʔλج൫্ͷ&5-ͷ։ൃӡ༻Λ೥Ҏ্ܦݧ ɾ"OTJCMF౳Λར༻ͨ͠ϛυϧ΢ΣΞͷΦϖϨʔγϣϯɺӡ༻πʔϧͷ։ൃΛ೥Ҏ্ܦݧ ɾ(SBGBOB΍1SPNFUIFVTΛར༻ͨ͠γεςϜͷϞχλϦϯάΛ೥Ҏ্ܦݧ ׻ܴ ɾ)BEPPQΤίγεςϜɺ,BGLBɺ&MBTUJD4FBSDIɺ,VCFSOFUFTͷӡ༻อकઃܭɺٴͼӡ༻ܦݧ ɾظؒ೥Ҏ্ͷେن໛γεςϜͷӡ༻ϓϩδΣΫτͷϦʔυܦݧ ɾӳޠؖࠃޠΛར༻͠ɺւ֎ڌ఺ؚΊͨεςʔΫϗϧμʔؒͷٕज़తͳௐ੔ λʔήοτ Πϝʔδ ೔ຊޠ ɾ/Ҏ্ʢϏδωεձ࿩͕Ͱ͖Δʣ Ϩϕϧ ɾϛυϧϨϕϧͷεΩϧͱܦݧ஋ બߟϑϩʔ ॻྨબߟ ⾣5FDIOJDBM5FTU⾣Ұ࣍໘઀ʢಉ྅ʣ⾣ೋ࣍࣍໘઀ʢ.(3 ⾣ ࠷ऴ໘઀ʢࣨ௕໾һʣ ˞ग़యɿIUUQTMJOFDPSQDPNKBDBSFFSQPTJUJPO

3FMJBCJMJUZ&OHJOFFSJOHηϯλʔ ओཁΤϯδχΞืूϙδγϣϯ ϙδγϣϯ ۀ຿಺༰ サーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用 ・ChatOpsツールの開発・運用 サーバーサイドエンジニア (LIAMプロジェクト) ・LINEグループ内で利用される認証システムの刷新 ・認証・認可基盤の統合プロジェクトの運用や改善（機能追加など） ・LINE各サービスで開発されている管理システムの権限管理プラットフォームの監査ログ基 盤の統合 シニアサーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用 ・ChatOpsツールの開発・運用 アーキテクト (社内認証認可基盤プロジェクト) ・LINEグループにて横断して利用される認証認可基盤のアーキテクチャ・運用設計・開発 Observability Software Engineer ・LINEの多くのサービスでモニタリングに使われる大規模システムの開発 ・大規模Metric/Log Stream/分散Tracing/Events Logging収集pipelineおよび処理システムの開発 ・大規模Metricを開発するために独自開発したTime Series Databaseの開発および運営 ・大容量データを格納および管理するためのオープンソースストレージ等の使用及び運営

THANK YOU!