LINEのData Platform室が実践する大規模分散環境のCapacity Planning

SRE NEXT 2022 ONLINE
スポンサーセッションの登壇資料です

登壇者
LINE株式会社 Data Engineeringセンター Data Platform室 Data Solutionsチーム
茂木 高宏

Transcript

1. Takahiro Moteki, Data Platform, LINE 2022.05 LINEのData Platform室が実践する大規模 分散環境のCapacity Planning
2. 5BLBIJSP
   .PUFLJ !ULNPUFLJ -*/&גࣜձࣾ 
   %BUB
   1MBUGPSNࣨ 
   1K.
   43& • ೥ɿגࣜձࣾαΠόʔΤʔδΣϯτೖࣾ • ޿ࠂؔ܎ͷ%BUB1MBUGPSNશൠͷ։ൃӡ༻ • ೥ɿ-*/&גࣜձࣾೖࣾ • )BEPPQΫϥελͱΤίγεςϜͷӡ༻ • %BUB1MBUGPSNશମͷܭը΍ӡ༻վળ
3. *6 -*/&
   %BUB
   1MBUGPSN
5. 8IBU`T
   *6
6. %BUB
   'MPX
   
   5FDI
   4UBDL Kafka Flink Flink Flink ES HDFS External System Service-side System YARN dump Kibana Tableau Jupyter yanagishima OASIS Datahub LINE Analytics Hive (Tez) Spark Trino (Presto) k8s Storage Ingestion Computing BI Tools Github CentralDogma Ranger Prometheus Grafana Governance IU Web k8s
7. .BDIJOFT   )%'4
   $BQBDJUZ
   1#  :"3/
   W$PSFT   ,FZ
   7BMVF
   r *OGSBTUSVDUVSF
8. +PCTEBZ   )JWF
   UBCMFT   *ODPNJOH
   SFDPSETTFD    ,FZ
   7BMVF
   r %BUB
   6TBHF
9. 0SHBOJ[BUJPO
10. Data Engineering Center Data Science Center Data Platform dept Data Management dept Data Engineering Team IU Tech Forward Team IU Dev Team Data ETL Team Data Solution Team 0SHBOJ[BUJPO
11. $BQBDJUZ
    1MBOOJOH
12. $BQBDJUZ
    1MBOOJOH 8IBU
    JT
    $BQBDJUZ
    1MBOOJOH
    GPS
    *6 • είʔϓ͸ɺطଘγεςϜ /PU
    ৽نγεςϜ • ੍໿ͱͯ͠ɺҰ౓ܾΊͨσʔληϯλʔ΍༧ࢉΛ؆୯ʹมߋग़དྷͳ͍ • େن໛؀ڥͷ$BQBDJUZ
    1MBOOJOHͷࣄྫ͕গͳ͍ γεςϜͷར༻͕૿େ͢ΔʹͭΕͯɺγεςϜΛͲͷΑ͏ʹ֦ ு͢Δ͔ܭըΛ࡞੒͠ɺ࣮ߦ͢Δ
13. αʔό֦ுܭըͷ࣮ߦ αʔό֦ுܭըͷ ࡞੒ ݱঢ়ͷ೺Ѳ $BQBDJUZ
    1MBOOJOHͷϑϩʔ )PX
    UP
    EP
    $BQBDJUZ
    1MBOOJOH কདྷͷ༧ଌ ϨϏϡʔ
14. 1SPCMFN • ݱঢ়ͷ೺Ѳ͕ࠔ೉ • େن໛ͳ؀ڥͷͨΊɺߟྀ͢Δ͜ͱ͕ଟ͗͢Δ • ܭࢉϛεɺߟྀ࿙Ε͕ൃੜ͠΍͍͢ • ݱঢ়ͷ೺Ѳ͕ਖ਼͘͠Ͱ͖ͳ͍ͱ
    কདྷ༧ଌͷਫ਼౓͕௿Լɺܭըͷ࡞੒ʹ΋Өڹ • มߋ؅ཧ͕େม ߏ੒΍ઃఆͷ೺Ѳ ར༻ྔͷ೺Ѳ
15. 0CKFDUJWF ݱঢ়ͷ೺ѲΛޮ཰Խ
16. 4FSWFS
    $BUBMPH
17. αʔό ϗετ ͷϝλσʔλΛऩूͨ͠σʔλϕʔε 4PMVUJPO
    4FSWFS
    $BUBMPH
    6TJOH
    EVNNZ
    EBUB )PTU/BNF $PNQPOFOU 3PMF ʜ *VI@TWS )BEPPQ 803,&3 ʜ *VI@TWS )BEPPQ "%.*/ ʜ JVL@TWS ,BGLB #30,&3 ʜ )PTU/BNF %BUB$FOUFS .BDIJOF5ZQF ʜ *VI@TWS " 1. ʜ *VI@TWS " 7. ʜ JVL@TWS # 1. ʜ )PTU/BNF WDPSF NFNPSZ 6OJU ʜ *VI@TWS    ʜ *VI@TWS    ʜ JVL@TWS    ʜ $PTUNPOUI ݪՁঈ٫ऴྃ ʜ )PTU/BNF    ʜ *VI@TWS    ʜ *VI@TWS    ʜ JVL@TWS %BUB5ZQF $SFEFOUJBM ʜ )PTU/BNF 4ZTUFN
    %BUB : ʜ *VI@TWS 0QFSBUJPOBM
    %BUB : ʜ *VI@TWS $SFEFOUJBM : ʜ JVL@TWS WDPSF VTBHFNJO EJTL
    VTBHFEBZ ʜ )PTU/BNF   ʜ *VI@TWS σʔληϯλʔ΍Ծ૝Խͷ৘ใ ίϯϙʔωϯτ ϛυϧ΢ΣΞ ͷߏ੒৘ใ αʔό)8ͷߏ੒৘ใ ࢿ࢈΍ձܭ৘ใ ηΩϡϦςΟ৘ใ ར༻ྔͷ৘ใ DB
18. 4PMVUJPO
    4FSWFS
    $BUBMPH
    BOE
    #* Depatment A データセンターや サーバHWの情報 DB Depatment B 会計や資産の情報 DataPlatform コンポーネント (ミドルウェア)の情報 
    σʔλͷऔಘ 
    σʔλͷอଘ ΧλϩάԽ 
    ՄࢹԽ෼ੳ 8FC
    (6*#*
    UPPM %BJMZ .POUIMZ
19. &YBNQMF
20. &YBNQMF
    
    /VNCFS
    PG
    DPNQPOFOUT
    BOE
    /VNCFS
    PG
    TF SWFST
    CZ
    DPNQPOFOU
21. &YBNQMF
    
    /VNCFS
    PG
    TFSWFST
    CZ
    EBUBDFOUFS
22. &YBNQMF
    
    "NPVOU
    PG
    DPTUT
    CZ
    PQFSBUJPOBM
    UFBN 6TJOH
    EVNNZ
    EBUB
23. • ༷ʑͳ৚݅Ͱɺ؆୯ʹݱঢ়ͷ೺Ѳ͕Մೳ • ࠷৽ͷݱঢ়͕೺ѲՄೳ • কདྷ༧ଌɺܭը࡞੒ͷਫ਼౓޲্ • Πϯγσϯτൃੜ࣌ʹɺো֐ൣғΛಛఆ͠΍͍͢ *OTJHIU
24. • ωοτϫʔΫͷ৘ใ • ίϯϙʔωϯτؒͷ௨৴ܦ࿏ɺϗετؒͷ௨৴ܦ࿏ɺଳҬ੍ݶ • 
    ωοτϫʔΫ࢓༷ͷݱঢ়೺Ѳ • αʔόͷઃఆ • ϛυϧ΢ΣΞɺ04 • 
    γεςϜύϑΥʔϚϯεͷ$BQBDJUZ
    1MBOOJOHʹ׆༻ • γεςϜͷӡ༻πʔϧͷ৘ใ • $*$%ɺ4ZTUFN
    .POJUPSJOHɺ#BDLVQ 'VUVSF
    1SPTQFDUT
25. $BQBDJUZ
    1MBOOJOHʹඞཁͳεΩϧ • σʔληϯλʔɺϋʔυ΢ΣΞɺΫϥ΢υɺωοτϫʔΫɺ04ͷجૅ஌ࣝ • %BUB1MBUGPSNͷίϯϙʔωϯτ )BEPPQ
    ,BGLB౳ ͷ஌ࣝ • σʔλ΍ϝτϦΫεΛूܭɺ෼ੳ͢ΔεΩϧ • ໰୊ղܾೳྗ
26. ࠾༻৘ใ
    %BUB1MBUGPSN 4ZTUFN
    "ENJOJTUSBUPS ϛογϣϯ  %BUB1MBUGPSNશମͷ؍఺͔ΒɺγεςϜܭըͷ࡞੒ͱӡ༻վળʹϑΥʔΧε͠࠷దԽ͢Δ ۀ຿ྫ  ΩϟύγςΟϓϥϯχϯάɺίετ࠷దԽ ΫΤϦɺσʔλอଘํ๏ͷվળ ɺγεςϜͷ։ൃӡ༻ ٻΊΔਓ෺ཁ݅ ඞਢ ҎԼͷ߲໨ͷ͏ͪɺͭҎ্ܦݧ͕౰ͯ͸·Δํ ɾ-JOVYΛར༻ͨ͠γεςϜͷΦϖϨʔγϣϯ೥Ҏ্ܦݧ ɾ)BEPPQ؀ڥɺ·ͨ͸ͦΕʹ૬౰͢Δσʔλج൫্ͷ&5-ͷ։ൃӡ༻Λ೥Ҏ্ܦݧ ɾ"OTJCMF౳Λར༻ͨ͠ϛυϧ΢ΣΞͷΦϖϨʔγϣϯɺӡ༻πʔϧͷ։ൃΛ೥Ҏ্ܦݧ ɾ(SBGBOB΍1SPNFUIFVTΛར༻ͨ͠γεςϜͷϞχλϦϯάΛ೥Ҏ্ܦݧ ׻ܴ ɾ)BEPPQΤίγεςϜɺ,BGLBɺ&MBTUJD4FBSDIɺ,VCFSOFUFTͷӡ༻อकઃܭɺٴͼӡ༻ܦݧ ɾظؒ೥Ҏ্ͷେن໛γεςϜͷӡ༻ϓϩδΣΫτͷϦʔυܦݧ ɾӳޠؖࠃޠΛར༻͠ɺւ֎ڌ఺ؚΊͨεςʔΫϗϧμʔؒͷٕज़తͳௐ੔ λʔήοτ Πϝʔδ ೔ຊޠ ɾ/Ҏ্ʢϏδωεձ࿩͕Ͱ͖Δʣ Ϩϕϧ ɾϛυϧϨϕϧͷεΩϧͱܦݧ஋ બߟϑϩʔ ॻྨબߟ ⾣5FDIOJDBM
    5FTU⾣Ұ࣍໘઀ʢಉ྅ʣ⾣ೋ࣍࣍໘઀ʢ.(3
    ⾣ ࠷ऴ໘઀ʢࣨ௕໾һʣ ˞ग़యɿIUUQTMJOFDPSQDPNKBDBSFFSQPTJUJPO
27. 3FMJBCJMJUZ
    &OHJOFFSJOHηϯλʔ ओཁΤϯδχΞืूϙδγϣϯ ϙδγϣϯ ۀ຿಺༰ サーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用 ・ChatOpsツールの開発・運用 サーバーサイドエンジニア (LIAMプロジェクト) ・LINEグループ内で利用される認証システムの刷新 ・認証・認可基盤の統合プロジェクトの運用や改善（機能追加など） ・LINE各サービスで開発されている管理システムの権限管理プラットフォームの監査ログ基 盤の統合 シニアサーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用 ・ChatOpsツールの開発・運用 アーキテクト (社内認証認可基盤プロジェクト) ・LINEグループにて横断して利用される認証認可基盤のアーキテクチャ・運用設計・開発 Observability Software Engineer ・LINEの多くのサービスでモニタリングに使われる大規模システムの開発 ・大規模Metric/Log Stream/分散Tracing/Events Logging収集pipelineおよび処理システムの開発 ・大規模Metricを開発するために独自開発したTime Series Databaseの開発および運営 ・大容量データを格納および管理するためのオープンソースストレージ等の使用及び運営
28. THANK YOU!