ZOZOSUIT関連データのパイプライン構築について /create zozosuit measurements data pipeline

Title
ZOZOSUIT関連データのパイプライン構築について

Speaker
大嶋淳司 Atsushi Oshima （開発部 SREチーム）

2019/07/25 ZOZO Technologies Meetup #11 for SRE Engineer
https://zozotech-inc.connpass.com/event/136159/
#zozotech_meetup

Transcript

1. ;0;046*5ؔ࿈σʔλͷ ύΠϓϥΠϯߏஙʹ͍ͭͯ "84
   (MVFΛར༻ͯ͠σʔλ੒ܗΛͨ͠࿩ גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ ΤϯδχΞ େౢ ३࢘ $PQZSJHIU
   ˜
   ;0;0
   5FDIOPMPHJFT
   *OD
2. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ 43&νʔϜ େౢ ३࢘ ˙ུྺ ग़਎͸ਆಸ઒ݝখాݪͷࢁͷ্ɻ ৽ଔͰϕϯνϟʔܥͷ4*FSʹͯΦϯϓϨΠϯϑϥ೥ɻ ೥ʹ;0;0ςΫϊϩδʔζ΁ೖࣾɻ"84։࢝ɻ ˙޷͖ͳ෺ ͓ञɺ͓ञɺ͓ञɻ 2
3. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD IUUQT[P[PKQ[P[PTVJU ɾ ಠࣗʹ։ൃͨ͠࠾ੇ༻ϘσΟʔεʔπ ɾ શମʹࢪ͞ΕͨυοτϚʔΧʔΛεϚʔτϑΥϯΧϝϥͰ౓ ࡱӨ͢Δ͜ͱͰɺମܕσʔλΛܭଌ ɾ ܭଌͨ͠ମܕσʔλ͸ɺॠ࣌ʹ%ϞσϧԽ͞Εɺ;0;0508/ ΞϓϦʹอଘɻ%Ϟσϧ͸͋ΒΏΔ֯౓ʹಈ͔͢͜ͱ͕Ͱ͖ɺ ମܕΛ౓νΣοΫ͢Δ͜ͱ͕Մೳ 3
4. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ໨࣍ ˔ಋೖ ˓എܠ ˔ຊ୊ ˓σʔλύΠϓϥΠϯ ˓;0;046*5ܭଌσʔλ ˔·ͱΊ 4
5. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ಋೖ  എܠ  ෼ੳґཔΛ΋Β͏͜ͱ͕͋ͬͨ ྫɿ ୅உੑͷฏۉ΢ΤεταΠζΛ֬ೝ͍ͨ͠ ˠ౰࣌ɺ෼ੳ؀ڥ͕ͳ͘ճ౴Ͱ͖ͳ͍ 5
6. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ಋೖ  എܠ  ղܾࡦ ύλʔϯ ࣗ෼ͨͪͰ෼ੳ؀ڥΛͭ͘Δ ʢ"NB[PO
   "UIFOBʣ ˠ෼ੳ͕։ൃͷยखؒʹͳͬͯ͠·͏ ύλʔϯ ෼ੳ෦ʹσʔλΛఏڙ͠ɺ෼ੳͯ͠΋Β͏ ˠࠓޙʹߴ౓ͳ෼ੳΛߟ͑Δͱ࠷ద 6
7. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ಋೖ  എܠ  ෼ੳ෦ 7 分析部 株式会社ZOZOテクノロジーズ 本社 青山 株式会社ZOZO 本社 海浜幕張（千葉） 開発部 （計測）
8. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ಋೖ  എܠ ઐ໳Ոͷ෼ੳ෦ʹσʔλΛఏڙͯ͠ɺ ෼ੳͯ͠΋Β͏ʂʂ 8
9. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ZOZOSUIT 9
10. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ σʔλύΠϓϥΠϯ ໨త ;0;046*5ͷ༗ӹͳσʔλΛࣾ಺ͷ෼ੳ෦ʹఏڙ͢Δ ඞཁ৚݅ ˔ຖ೔࠷৽ͷܭଌσʔλΛఏڙ ˔೔෇͝ͱͷϑΥϧμʹϑΝΠϧʹ·ͱΊͯग़ྗʢྫɿ EBUBʣ ˔ݸਓ৘ใɺ෼ੳʹෆཁͳڊେͳσʔλ͸ࣄલʹ࡟আ ˔؆୯ʹૣ͘Ͱ͖ΔʢͰ͖ΔݶΓϊϯϓϥάϥϛϯάɺίϯιʔϧ্ʣ 10
11. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ  ܭଌσʔλ 11 DynamoDB S3 用途 サービス用 デバッグ、調査用 パフォーマンス影響 読み込みキャパシティを大量に 消費する可能性がある なし
12. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ αʔϏε঺հ 12 AWS S3（Amazon Simple Storage Service） • クラウドストレージ • コスト効率高い • 高可用性（99.999999999%） • 暗号化、柔軟なアクセス管理 AWS Glue • データを整理、最適化、検証、フォーマット • 完全マネージド型 ETL (抽出、変換、ロード) サービス • サーバーレス
13. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ߏ੒ਤ 13 AWS S3 AWS S3 AWS Glue (crawler) AWS Glue (ETL job) data catalog （処理前） （処理後）
14. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ߏ੒ਤ 14 AWS S3 AWS S3 AWS Glue (crawler) AWS Glue (ETL job) data catalog （処理前） （処理後）
15. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ  4ʢॲཧલʣ 15 １計測あたり約500KB 計測ダミーデータ
16. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ  4ʢॲཧલʣ ;0;046*5ܭଌσʔλʢKTPOʣ 16 ・ ・ ・ "id": 123456789, "gender_id": 1, "bust": 853.3767035950822, "shoulder": 423.1653994163682, "neck": 354.9143235711635, "height": 1800, ・ ・ ・ ・ 分析に 不要なデータ ex. ３D頂点データ
17. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ߏ੒ਤ 17 AWS S3 AWS S3 AWS Glue (crawler) AWS Glue (ETL job) data catalog （処理前） （処理後）
18. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ crawler 18
19. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ crawler 19 設定項目一覧
20. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ crawler 20 ↑ 作成完了
21. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ߏ੒ਤ 21 AWS S3 AWS S3 AWS Glue (crawler) AWS Glue (ETL job) data catalog （処理前） （処理後）
22. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    22
23. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    23 設定項目一覧
24. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    24 A B C A B C 不要なデータ
25. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    25 A B C 不要なデータ
26. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    26 自動生成スクリプト
27. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ &5-
    KPC
    
    27 import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job from awsglue.dynamicframe import DynamicFrame import datetime today = datetime.date.today() foldername = today.strftime('%Y-%m-%d') 〜 （省略）〜 df = applymapping1.toDF() # DynamicFrameをtoDF methodによりDataFrameに変換します df_rep = df.repartition(1) # repartition methodによりpartition数を1にします dyf_rep = DynamicFrame.fromDF(df_rep, glueContext, "dyf_rep") # DataFrameをDynamicFrameに変換します datasink2 = glueContext.write_dynamic_frame.from_options(frame = dyf_rep , connection_type = "s3", connection_options = {"path": "s3://s3-output- 20190722/"+foldername "compression": "gzip"}, format = "json", transformation_ctx = "datasink2") job.commit() モジュールインポート、フォルダ名定義 ファイルを一つにまとめる 出力先指定、gzip圧縮
28. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ߏ੒ਤ 28 AWS S3 AWS S3 AWS Glue (crawler) AWS Glue (ETL job) data catalog （処理前） （処理後）
29. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ 4ʢॲཧޙʣ 29 3計測で3.6KB （１計測あたり1.2KB） 約1/500
30. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD σʔλύΠϓϥΠϯʢ;0;046*5ʣ ͦͷޙ 弊社の優秀なアナリストによって 有益な情報に！ 30
31. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ·ͱΊ ΄΅ϊϯϓϥάϥϛϯάͰҎԼ৚݅Λຬͨ͢ σʔλύΠϓϥΠϯΛߏங͢Δ͜ͱ͕ग़དྷ·ͨ͠ ˔ຖ೔࠷৽ͷܭଌσʔλΛఏڙ ˔೔෇͝ͱͷϑΥϧμʹϑΝΠϧʹ·ͱΊͯग़ྗʢྫɿ EBUBʣ ˔ݸਓ৘ใɺ෼ੳʹෆཁͳڊେͳσʔλ͸ࣄલʹ࡟আ "84ͷαʔϏεΛ૊Έ߹ΘͤΔ͜ͱͰࠓޙ΋՝୊Λղܾ͍͖͍ͯͨ͠ʂ 31
32. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ·ͱΊ "84ͷ͞·͟·ͳαʔϏεΛۦ࢖ͯ͠ ՝୊Λղܾ͍ͨ͠ํʂ 43&ΤϯδχΞืूதʂ https://tech.zozo.com/recruit/mid-career/detail48/ 32