Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LINEのData Platform室が実践する大規模分散環境のCapacity Planning

LINEのData Platform室が実践する大規模分散環境のCapacity Planning

SRE NEXT 2022 ONLINE
スポンサーセッションの登壇資料です

登壇者
LINE株式会社 Data Engineeringセンター Data Platform室 Data Solutionsチーム
茂木 高宏

A3966f193f4bef226a0d3e3c1f728d7f?s=128

LINE Developers
PRO

May 14, 2022
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. Takahiro Moteki, Data Platform, LINE 2022.05 LINEのData Platform室が実践する大規模 分散環境のCapacity Planning

  2. 5BLBIJSP.PUFLJ !ULNPUFLJ -*/&גࣜձࣾ %BUB1MBUGPSNࣨ 1K. 43& • ೥ɿגࣜձࣾαΠόʔΤʔδΣϯτೖࣾ • ޿ࠂؔ܎ͷ%BUB1MBUGPSNશൠͷ։ൃӡ༻

    • ೥ɿ-*/&גࣜձࣾೖࣾ • )BEPPQΫϥελͱΤίγεςϜͷӡ༻ • %BUB1MBUGPSNશମͷܭը΍ӡ༻վળ
  3. *6 -*/&%BUB1MBUGPSN

  4. None
  5. 8IBU`T*6

  6. %BUB'MPX5FDI4UBDL Kafka Flink Flink Flink ES HDFS External System Service-side

    System YARN dump Kibana Tableau Jupyter yanagishima OASIS Datahub LINE Analytics Hive (Tez) Spark Trino (Presto) k8s Storage Ingestion Computing BI Tools Github CentralDogma Ranger Prometheus Grafana Governance IU Web k8s
  7. .BDIJOFT   )%'4$BQBDJUZ 1#  :"3/W$PSFT   ,FZ7BMVFr

    *OGSBTUSVDUVSF
  8. +PCTEBZ   )JWFUBCMFT   *ODPNJOHSFDPSETTFD   

    ,FZ7BMVFr %BUB6TBHF
  9. 0SHBOJ[BUJPO

  10. Data Engineering Center Data Science Center Data Platform dept Data

    Management dept Data Engineering Team IU Tech Forward Team IU Dev Team Data ETL Team Data Solution Team 0SHBOJ[BUJPO
  11. $BQBDJUZ1MBOOJOH

  12. $BQBDJUZ1MBOOJOH 8IBUJT$BQBDJUZ1MBOOJOHGPS*6 • είʔϓ͸ɺطଘγεςϜ /PU৽نγεςϜ • ੍໿ͱͯ͠ɺҰ౓ܾΊͨσʔληϯλʔ΍༧ࢉΛ؆୯ʹมߋग़དྷͳ͍ • େن໛؀ڥͷ$BQBDJUZ1MBOOJOHͷࣄྫ͕গͳ͍ γεςϜͷར༻͕૿େ͢ΔʹͭΕͯɺγεςϜΛͲͷΑ͏ʹ֦

    ு͢Δ͔ܭըΛ࡞੒͠ɺ࣮ߦ͢Δ
  13. αʔό֦ுܭըͷ࣮ߦ αʔό֦ுܭըͷ ࡞੒ ݱঢ়ͷ೺Ѳ $BQBDJUZ1MBOOJOHͷϑϩʔ )PXUPEP$BQBDJUZ1MBOOJOH কདྷͷ༧ଌ ϨϏϡʔ

  14. 1SPCMFN • ݱঢ়ͷ೺Ѳ͕ࠔ೉ • େن໛ͳ؀ڥͷͨΊɺߟྀ͢Δ͜ͱ͕ଟ͗͢Δ • ܭࢉϛεɺߟྀ࿙Ε͕ൃੜ͠΍͍͢ • ݱঢ়ͷ೺Ѳ͕ਖ਼͘͠Ͱ͖ͳ͍ͱ কདྷ༧ଌͷਫ਼౓͕௿Լɺܭըͷ࡞੒ʹ΋Өڹ

    • มߋ؅ཧ͕େม ߏ੒΍ઃఆͷ೺Ѳ ར༻ྔͷ೺Ѳ
  15. 0CKFDUJWF ݱঢ়ͷ೺ѲΛޮ཰Խ

  16. 4FSWFS$BUBMPH

  17. αʔό ϗετ ͷϝλσʔλΛऩूͨ͠σʔλϕʔε 4PMVUJPO4FSWFS$BUBMPH 6TJOHEVNNZEBUB )PTU/BNF $PNQPOFOU 3PMF ʜ *VI@TWS

    )BEPPQ 803,&3 ʜ *VI@TWS )BEPPQ "%.*/ ʜ JVL@TWS ,BGLB #30,&3 ʜ )PTU/BNF %BUB$FOUFS .BDIJOF5ZQF ʜ *VI@TWS " 1. ʜ *VI@TWS " 7. ʜ JVL@TWS # 1. ʜ )PTU/BNF WDPSF NFNPSZ 6OJU ʜ *VI@TWS    ʜ *VI@TWS    ʜ JVL@TWS    ʜ $PTUNPOUI ݪՁঈ٫ऴྃ ʜ )PTU/BNF    ʜ *VI@TWS    ʜ *VI@TWS    ʜ JVL@TWS %BUB5ZQF $SFEFOUJBM ʜ )PTU/BNF 4ZTUFN%BUB : ʜ *VI@TWS 0QFSBUJPOBM %BUB : ʜ *VI@TWS $SFEFOUJBM : ʜ JVL@TWS WDPSF VTBHFNJO EJTL VTBHFEBZ ʜ )PTU/BNF   ʜ *VI@TWS σʔληϯλʔ΍Ծ૝Խͷ৘ใ ίϯϙʔωϯτ ϛυϧ΢ΣΞ ͷߏ੒৘ใ αʔό)8ͷߏ੒৘ใ ࢿ࢈΍ձܭ৘ใ ηΩϡϦςΟ৘ใ ར༻ྔͷ৘ใ DB
  18. 4PMVUJPO4FSWFS$BUBMPHBOE#* Depatment A データセンターや サーバHWの情報 DB Depatment B 会計や資産の情報 DataPlatform

    コンポーネント (ミドルウェア)の情報  σʔλͷऔಘ  σʔλͷอଘ ΧλϩάԽ  ՄࢹԽ෼ੳ 8FC(6*#*UPPM %BJMZ .POUIMZ
  19. &YBNQMF

  20. &YBNQMF/VNCFSPGDPNQPOFOUTBOE/VNCFSPGTF SWFSTCZDPNQPOFOU

  21. &YBNQMF/VNCFSPGTFSWFSTCZEBUBDFOUFS

  22. &YBNQMF"NPVOUPGDPTUTCZPQFSBUJPOBMUFBN 6TJOHEVNNZEBUB

  23. • ༷ʑͳ৚݅Ͱɺ؆୯ʹݱঢ়ͷ೺Ѳ͕Մೳ • ࠷৽ͷݱঢ়͕೺ѲՄೳ • কདྷ༧ଌɺܭը࡞੒ͷਫ਼౓޲্ • Πϯγσϯτൃੜ࣌ʹɺো֐ൣғΛಛఆ͠΍͍͢ *OTJHIU

  24. • ωοτϫʔΫͷ৘ใ • ίϯϙʔωϯτؒͷ௨৴ܦ࿏ɺϗετؒͷ௨৴ܦ࿏ɺଳҬ੍ݶ • ωοτϫʔΫ࢓༷ͷݱঢ়೺Ѳ • αʔόͷઃఆ • ϛυϧ΢ΣΞɺ04

    • γεςϜύϑΥʔϚϯεͷ$BQBDJUZ1MBOOJOHʹ׆༻ • γεςϜͷӡ༻πʔϧͷ৘ใ • $*$%ɺ4ZTUFN.POJUPSJOHɺ#BDLVQ 'VUVSF1SPTQFDUT
  25. $BQBDJUZ1MBOOJOHʹඞཁͳεΩϧ • σʔληϯλʔɺϋʔυ΢ΣΞɺΫϥ΢υɺωοτϫʔΫɺ04ͷجૅ஌ࣝ • %BUB1MBUGPSNͷίϯϙʔωϯτ )BEPPQ ,BGLB౳ ͷ஌ࣝ • σʔλ΍ϝτϦΫεΛूܭɺ෼ੳ͢ΔεΩϧ

    • ໰୊ղܾೳྗ
  26. ࠾༻৘ใ%BUB1MBUGPSN 4ZTUFN"ENJOJTUSBUPS ϛογϣϯ  %BUB1MBUGPSNશମͷ؍఺͔ΒɺγεςϜܭըͷ࡞੒ͱӡ༻վળʹϑΥʔΧε͠࠷దԽ͢Δ ۀ຿ྫ  ΩϟύγςΟϓϥϯχϯάɺίετ࠷దԽ ΫΤϦɺσʔλอଘํ๏ͷվળ ɺγεςϜͷ։ൃӡ༻

    ٻΊΔਓ෺ཁ݅ ඞਢ ҎԼͷ߲໨ͷ͏ͪɺͭҎ্ܦݧ͕౰ͯ͸·Δํ ɾ-JOVYΛར༻ͨ͠γεςϜͷΦϖϨʔγϣϯ೥Ҏ্ܦݧ ɾ)BEPPQ؀ڥɺ·ͨ͸ͦΕʹ૬౰͢Δσʔλج൫্ͷ&5-ͷ։ൃӡ༻Λ೥Ҏ্ܦݧ ɾ"OTJCMF౳Λར༻ͨ͠ϛυϧ΢ΣΞͷΦϖϨʔγϣϯɺӡ༻πʔϧͷ։ൃΛ೥Ҏ্ܦݧ ɾ(SBGBOB΍1SPNFUIFVTΛར༻ͨ͠γεςϜͷϞχλϦϯάΛ೥Ҏ্ܦݧ ׻ܴ ɾ)BEPPQΤίγεςϜɺ,BGLBɺ&MBTUJD4FBSDIɺ,VCFSOFUFTͷӡ༻อकઃܭɺٴͼӡ༻ܦݧ ɾظؒ೥Ҏ্ͷେن໛γεςϜͷӡ༻ϓϩδΣΫτͷϦʔυܦݧ ɾӳޠؖࠃޠΛར༻͠ɺւ֎ڌ఺ؚΊͨεςʔΫϗϧμʔؒͷٕज़తͳௐ੔ λʔήοτ Πϝʔδ ೔ຊޠ ɾ/Ҏ্ʢϏδωεձ࿩͕Ͱ͖Δʣ Ϩϕϧ ɾϛυϧϨϕϧͷεΩϧͱܦݧ஋ બߟϑϩʔ ॻྨબߟ ⾣5FDIOJDBM5FTU⾣Ұ࣍໘઀ʢಉ྅ʣ⾣ೋ࣍࣍໘઀ʢ.(3 ⾣ ࠷ऴ໘઀ʢࣨ௕໾һʣ ˞ग़యɿIUUQTMJOFDPSQDPNKBDBSFFSQPTJUJPO
  27. 3FMJBCJMJUZ&OHJOFFSJOHηϯλʔ ओཁΤϯδχΞืूϙδγϣϯ ϙδγϣϯ ۀ຿಺༰ サーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用

    ・ChatOpsツールの開発・運用 サーバーサイドエンジニア (LIAMプロジェクト) ・LINEグループ内で利用される認証システムの刷新 ・認証・認可基盤の統合プロジェクトの運用や改善(機能追加など) ・LINE各サービスで開発されている管理システムの権限管理プラットフォームの監査ログ基 盤の統合 シニアサーバーサイドエンジニア ・ArgoCD運用 ・負荷テストツールの開発・運用 ・Promtheusを利用したモニタリングツールの開発・運用 ・GitHub Entepriseの運用 ・ChatOpsツールの開発・運用 アーキテクト (社内認証認可基盤プロジェクト) ・LINEグループにて横断して利用される認証認可基盤のアーキテクチャ・運用設計・開発 Observability Software Engineer ・LINEの多くのサービスでモニタリングに使われる大規模システムの開発 ・大規模Metric/Log Stream/分散Tracing/Events Logging収集pipelineおよび処理システムの開発 ・大規模Metricを開発するために独自開発したTime Series Databaseの開発および運営 ・大容量データを格納および管理するためのオープンソースストレージ等の使用及び運営
  28. THANK YOU!