LINEのData Platform室が実践する大規模分散環境のCapacity Planning

SRE NEXT 2022 ONLINE
スポンサーセッションの登壇資料です

登壇者
LINE株式会社 Data Engineeringセンター Data Platform室 Data Solutionsチーム
茂木 高宏

Transcript

1. Takahiro Moteki, Data Platform, LINE
   2022.05
   LINEのData Platform室が実践する大規模
   分散環境のCapacity Planning
   

   View Slide

2. 5BLBIJSP.PUFLJ
   !ULNPUFLJ
   
   -*/&גࣜձࣾ %BUB1MBUGPSNࣨ 1K. 43&
   • ೥ɿגࣜձࣾαΠόʔΤʔδΣϯτೖࣾ
   • ޿ࠂؔ܎ͷ%BUB1MBUGPSNશൠͷ։ൃӡ༻
   • ೥ɿ-*/&גࣜձࣾೖࣾ
   • )BEPPQΫϥελͱΤίγεςϜͷӡ༻
   • %BUB1MBUGPSNશମͷܭը΍ӡ༻վળ
   

   View Slide

3. *6
   -*/&%BUB1MBUGPSN
   

   View Slide

4. View Slide

5. 8IBU`T*6
   

   View Slide

6. %BUB'MPX5FDI4UBDL
   Kafka
   Flink
   Flink
   Flink
   ES
   HDFS
   External
   System
   Service-side
   System
   YARN
   dump
   Kibana
   Tableau
   Jupyter
   yanagishima
   OASIS
   Datahub
   LINE Analytics
   Hive
   (Tez)
   Spark
   Trino
   (Presto)
   k8s
   Storage
   Ingestion Computing BI Tools
   Github CentralDogma
   Ranger
   Prometheus Grafana
   Governance IU Web
   k8s
   

   View Slide

7. .BDIJOFT
   
   )%'4$BQBDJUZ 1#
   
   
   :"3/W$PSFT
   
   ,FZ7BMVFr *OGSBTUSVDUVSF
   

   View Slide

8. +PCTEBZ
   
   )JWFUBCMFT
   
   *ODPNJOHSFDPSETTFD
   
   ,FZ7BMVFr %BUB6TBHF
   

   View Slide

9. 0SHBOJ[BUJPO
   

   View Slide

10. Data Engineering Center
    Data Science Center
    Data Platform dept
    Data Management dept
    Data Engineering Team
    IU Tech Forward Team
    IU Dev Team
    Data ETL Team
    Data Solution Team
    0SHBOJ[BUJPO
    

    View Slide

11. $BQBDJUZ1MBOOJOH
    

    View Slide

12. $BQBDJUZ1MBOOJOH
    8IBUJT$BQBDJUZ1MBOOJOHGPS*6
    • είʔϓ͸ɺطଘγεςϜ /PU৽نγεςϜ
    
    • ੍໿ͱͯ͠ɺҰ౓ܾΊͨσʔληϯλʔ΍༧ࢉΛ؆୯ʹมߋग़དྷͳ͍
    • େن໛؀ڥͷ$BQBDJUZ1MBOOJOHͷࣄྫ͕গͳ͍
    γεςϜͷར༻͕૿େ͢ΔʹͭΕͯɺγεςϜΛͲͷΑ͏ʹ֦
    ு͢Δ͔ܭըΛ࡞੒͠ɺ࣮ߦ͢Δ
    

    View Slide

13. αʔό֦ுܭըͷ࣮ߦ
    αʔό֦ுܭըͷ
    ࡞੒
    ݱঢ়ͷ೺Ѳ
    $BQBDJUZ1MBOOJOHͷϑϩʔ
    )PXUPEP$BQBDJUZ1MBOOJOH
    কདྷͷ༧ଌ
    ϨϏϡʔ
    

    View Slide

14. 1SPCMFN
    • ݱঢ়ͷ೺Ѳ͕ࠔ೉
    • େن໛ͳ؀ڥͷͨΊɺߟྀ͢Δ͜ͱ͕ଟ͗͢Δ
    • ܭࢉϛεɺߟྀ࿙Ε͕ൃੜ͠΍͍͢
    • ݱঢ়ͷ೺Ѳ͕ਖ਼͘͠Ͱ͖ͳ͍ͱ
    কདྷ༧ଌͷਫ਼౓͕௿Լɺܭըͷ࡞੒ʹ΋Өڹ
    • มߋ؅ཧ͕େม
    ߏ੒΍ઃఆͷ೺Ѳ ར༻ྔͷ೺Ѳ
    

    View Slide

15. 0CKFDUJWF
    ݱঢ়ͷ೺ѲΛޮ཰Խ
    

    View Slide

16. 4FSWFS$BUBMPH
    

    View Slide

17. αʔό ϗετ
    ͷϝλσʔλΛऩूͨ͠σʔλϕʔε
    4PMVUJPO4FSWFS$BUBMPH 6TJOHEVNNZEBUB
    
    )PTU/BNF $PNQPOFOU 3PMF ʜ
    *VI@TWS )BEPPQ 803,&3 ʜ
    *VI@TWS )BEPPQ "%.*/ ʜ
    JVL@TWS ,BGLB #30,&3 ʜ
    )PTU/BNF %BUB$FOUFS .BDIJOF5ZQF ʜ
    *VI@TWS " 1. ʜ
    *VI@TWS " 7. ʜ
    JVL@TWS # 1. ʜ
    )PTU/BNF WDPSF NFNPSZ 6OJU ʜ
    *VI@TWS ʜ
    *VI@TWS ʜ
    JVL@TWS ʜ
    $PTUNPOUI ݪՁঈ٫ऴྃ ʜ )PTU/BNF
    ʜ *VI@TWS
    ʜ *VI@TWS
    ʜ JVL@TWS
    %BUB5ZQF $SFEFOUJBM ʜ )PTU/BNF
    4ZTUFN%BUB : ʜ *VI@TWS
    0QFSBUJPOBM
    %BUB
    : ʜ *VI@TWS
    $SFEFOUJBM : ʜ JVL@TWS
    WDPSF
    VTBHFNJO
    EJTL
    VTBHFEBZ
    ʜ )PTU/BNF
    ʜ *VI@TWS
    σʔληϯλʔ΍Ծ૝Խͷ৘ใ
    ίϯϙʔωϯτ ϛυϧ΢ΣΞ
    ͷߏ੒৘ใ
    αʔό)8ͷߏ੒৘ใ
    ࢿ࢈΍ձܭ৘ใ
    ηΩϡϦςΟ৘ใ
    ར༻ྔͷ৘ใ
    DB
    

    View Slide

18. 4PMVUJPO4FSWFS$BUBMPHBOE#*
    Depatment A
    データセンターや
    サーバHWの情報
    DB
    Depatment B
    会計や資産の情報
    DataPlatform
    コンポーネント
    (ミドルウェア)の情報
    
    σʔλͷऔಘ
    
    σʔλͷอଘ
    ΧλϩάԽ
    
    
    ՄࢹԽ෼ੳ
    8FC(6*#*UPPM
    %BJMZ
    .POUIMZ
    

    View Slide

19. &YBNQMF
    

    View Slide

20. &YBNQMF/VNCFSPGDPNQPOFOUTBOE/VNCFSPGTF
    SWFSTCZDPNQPOFOU
    

    View Slide

21. &YBNQMF/VNCFSPGTFSWFSTCZEBUBDFOUFS
    

    View Slide

22. &YBNQMF"NPVOUPGDPTUTCZPQFSBUJPOBMUFBN
    6TJOHEVNNZEBUB
    
    

    View Slide

23. • ༷ʑͳ৚݅Ͱɺ؆୯ʹݱঢ়ͷ೺Ѳ͕Մೳ
    • ࠷৽ͷݱঢ়͕೺ѲՄೳ
    • কདྷ༧ଌɺܭը࡞੒ͷਫ਼౓޲্
    • Πϯγσϯτൃੜ࣌ʹɺো֐ൣғΛಛఆ͠΍͍͢
    *OTJHIU
    

    View Slide

24. • ωοτϫʔΫͷ৘ใ
    • ίϯϙʔωϯτؒͷ௨৴ܦ࿏ɺϗετؒͷ௨৴ܦ࿏ɺଳҬ੍ݶ
    • ωοτϫʔΫ࢓༷ͷݱঢ়೺Ѳ
    • αʔόͷઃఆ
    • ϛυϧ΢ΣΞɺ04
    • γεςϜύϑΥʔϚϯεͷ$BQBDJUZ1MBOOJOHʹ׆༻
    • γεςϜͷӡ༻πʔϧͷ৘ใ
    • $*$%ɺ4ZTUFN.POJUPSJOHɺ#BDLVQ
    'VUVSF1SPTQFDUT
    

    View Slide

25. $BQBDJUZ1MBOOJOHʹඞཁͳεΩϧ
    • σʔληϯλʔɺϋʔυ΢ΣΞɺΫϥ΢υɺωοτϫʔΫɺ04ͷجૅ஌ࣝ
    • %BUB1MBUGPSNͷίϯϙʔωϯτ )BEPPQ ,BGLB౳
    ͷ஌ࣝ
    • σʔλ΍ϝτϦΫεΛूܭɺ෼ੳ͢ΔεΩϧ
    • ໰୊ղܾೳྗ
    

    View Slide

26. ࠾༻৘ใ%BUB1MBUGPSN 4ZTUFN"ENJOJTUSBUPS
    ϛογϣϯ %BUB1MBUGPSNશମͷ؍఺͔ΒɺγεςϜܭըͷ࡞੒ͱӡ༻վળʹϑΥʔΧε͠࠷దԽ͢Δ
    ۀ຿ྫ ΩϟύγςΟϓϥϯχϯάɺίετ࠷దԽ ΫΤϦɺσʔλอଘํ๏ͷվળ
    ɺγεςϜͷ։ൃӡ༻
    ٻΊΔਓ෺ཁ݅
    ඞਢ
    ҎԼͷ߲໨ͷ͏ͪɺͭҎ্ܦݧ͕౰ͯ͸·Δํ
    ɾ-JOVYΛར༻ͨ͠γεςϜͷΦϖϨʔγϣϯ೥Ҏ্ܦݧ
    ɾ)BEPPQ؀ڥɺ·ͨ͸ͦΕʹ૬౰͢Δσʔλج൫্ͷ&5-ͷ։ൃӡ༻Λ೥Ҏ্ܦݧ
    ɾ"OTJCMF౳Λར༻ͨ͠ϛυϧ΢ΣΞͷΦϖϨʔγϣϯɺӡ༻πʔϧͷ։ൃΛ೥Ҏ্ܦݧ
    ɾ(SBGBOB΍1SPNFUIFVTΛར༻ͨ͠γεςϜͷϞχλϦϯάΛ೥Ҏ্ܦݧ
    ׻ܴ
    ɾ)BEPPQΤίγεςϜɺ,BGLBɺ&MBTUJD4FBSDIɺ,VCFSOFUFTͷӡ༻อकઃܭɺٴͼӡ༻ܦݧ
    ɾظؒ೥Ҏ্ͷେن໛γεςϜͷӡ༻ϓϩδΣΫτͷϦʔυܦݧ
    ɾӳޠؖࠃޠΛར༻͠ɺւ֎ڌ఺ؚΊͨεςʔΫϗϧμʔؒͷٕज़తͳௐ੔
    λʔήοτ
    Πϝʔδ
    ೔ຊޠ ɾ/Ҏ্ʢϏδωεձ࿩͕Ͱ͖Δʣ
    Ϩϕϧ ɾϛυϧϨϕϧͷεΩϧͱܦݧ஋
    બߟϑϩʔ ॻྨબߟ ⾣5FDIOJDBM5FTU⾣Ұ࣍໘઀ʢಉ྅ʣ⾣ೋ࣍࣍໘઀ʢ.(3
    ⾣ ࠷ऴ໘઀ʢࣨ௕໾һʣ
    ˞ग़యɿIUUQTMJOFDPSQDPNKBDBSFFSQPTJUJPO
    

    View Slide

27. 3FMJBCJMJUZ&OHJOFFSJOHηϯλʔ ओཁΤϯδχΞืूϙδγϣϯ
    ϙδγϣϯ ۀ຿಺༰
    サーバーサイドエンジニア
    ・ArgoCD運用
    ・負荷テストツールの開発・運用
    ・Promtheusを利用したモニタリングツールの開発・運用
    ・GitHub Entepriseの運用
    ・ChatOpsツールの開発・運用
    サーバーサイドエンジニア
    (LIAMプロジェクト)
    ・LINEグループ内で利用される認証システムの刷新
    ・認証・認可基盤の統合プロジェクトの運用や改善（機能追加など）
    ・LINE各サービスで開発されている管理システムの権限管理プラットフォームの監査ログ基
    盤の統合
    シニアサーバーサイドエンジニア
    ・ArgoCD運用
    ・負荷テストツールの開発・運用
    ・Promtheusを利用したモニタリングツールの開発・運用
    ・GitHub Entepriseの運用
    ・ChatOpsツールの開発・運用
    アーキテクト
    (社内認証認可基盤プロジェクト)
    ・LINEグループにて横断して利用される認証認可基盤のアーキテクチャ・運用設計・開発
    Observability Software Engineer
    ・LINEの多くのサービスでモニタリングに使われる大規模システムの開発
    ・大規模Metric/Log Stream/分散Tracing/Events Logging収集pipelineおよび処理システムの開発
    ・大規模Metricを開発するために独自開発したTime Series Databaseの開発および運営
    ・大容量データを格納および管理するためのオープンソースストレージ等の使用及び運営
    

    View Slide

28. THANK YOU!
    

    View Slide