リブセンスのデータ分析基盤を支えるRedshiftとAirflow

Transcript

1. ςΫϊϩδΧϧϚʔέςΟϯά෦
   σʔλϓϥοτϑΥʔϜάϧʔϓ Copyright © LIVESENSE Inc. ٢෢
   ਖ਼࢙ Ϧϒηϯεͷσʔλ෼ੳج൫Λࢧ͑Δ 3FETIJGUͱ"JSGMPX
   
   #JH%BUB+"84ษڧձ
   

2. w ೥ೖࣾ
   w σʔλ෼ੳج൫ʮ-JWFTFOTF
   "OBMZUJDTʯͷ ։ൃɺӡ༻Λ΍ͬͯ·͢
   w झຯ
   +Ϧʔά؍ઓ
   w ޷͖ͳ"84αʔϏε
   3FETIJGU
   
   4

   ٢෢
   ਖ਼࢙
   !UBLF@N
   גࣜձࣾϦϒηϯε
   ςΫϊϩδΧϧϚʔέςΟϯά෦
   σʔλϓϥοτϑΥʔϜάϧʔϓ ࣗݾ঺հ

3. w "QBDIF
   "JSGMPXͱ͸
   w Ϧϒηϯεͷ"JSGMPXγεςϜߏ੒
   w ϦϒηϯεͰͷ"JSGMPX׆༻ࣄྫ "HFOEB

4. Ϧϒηϯεͷσʔλ෼ੳج൫

5. w σʔλऩू
   w ϩάσʔλ ΞΫηεϩάɺΠϕϯτϩάɺΠϯϓϨογϣϯϩά
   w σʔλಉظ ࣄۀͷ8FCαʔϏε
   

   w ֎෦σʔλ ޿ࠂɺ4&0
   w σʔλ෼ੳɺ׆༻
   w ΞυϗοΫ෼ੳ
   w ,1*νΣοΫ
   w μογϡϘʔυ
   w σʔλιʔε
   w Ϩίϝϯυ
   w ޿ࠂΞτϦϏϡʔγϣϯ෼ੳ Ϧϒηϯεͷσʔλ෼ੳج൫

6. Ϧϒηϯεͷσʔλ෼ੳج൫ 3 F E T I J G U E

   D    Y M B S H F
   º
    ς ʔϒϧ ਺    Ϩί ʔ υ ਺    ԯ Ϩί ʔ υ ར ༻ ༰ ྔ  5 # ΞΫ ςΟ ϒϢʔ β    ໊ ΞυϗοΫɾΫΤϦ 
   
   EBZ # *
   
   δϣϒ ɾ Ϋ Τ Ϧ        E B Z Ϧ Ϧ ʔε     ೥   ݄

7. Ϧϒηϯεͷσʔλ෼ੳج൫

8. Ϧϒηϯεͷσʔλ෼ੳج൫ ࠓ೔͸͜ͷ࿩Λ͠·͢

9. w ϫʔΫϑϩʔΛεέδϡʔϦϯάɺϞχλϦϯά͢ΔͨΊͷ πʔϧ
   w ݩʑ͸"JSCOC͕ࣾ։ൃ͠ɺࠓ͸"QBDIFιϑτ΢ΣΞࡒஂ ͷΠϯΩϡϕʔγϣϯϓϩάϥϜʹՃೖ
   w 1ZUIPOͰ࣮૷͞Ε͍ͯΔ "QBDIF
   "JSGMPXͱ͸

10. w ݩʑɺόονॲཧΛ3VCZͷSBLFͰॻ͍͍ͯͨ ࠓ΋
    w ౰࣌ͷεέδϡʔϧ؅ཧ͸DSPO
    w XIFOFWFSͱ͍͏HFNΛ࢖ͬͯɺλεΫεέδϡʔϧͷ όʔδϣϯ؅ཧ͸͍ͯͨ͠
    w

    ͚ͲݟͮΒ͍ͷͰTQSFBETIFFUͰ࣮ߦ࣌ؒͷ؅ཧΛͯ͠ ͍ͨ
    w ͔͠͠ஈʑλεΫɺόονͷྔ͕૿͖͑ͯͯʜ
    w ґଘؔ܎΋ෳࡶʹͳ͖ͬͯͯʜ
    w ఘΊͯɺδϣϒϚωδϝϯτπʔϧͷಋೖΛܾΊͨ   "JSGMPXΛಋೖͨ͠ܦҢ

11. w "JSGMPXಋೖ౰࣌ɺൺֱͨ͠΋ͷ
    w -VJHJ
    w %JHEBH
    w 3VOEFDL
    w ਖ਼௚ɺͲΕ΋Ұ௕Ұ୹ͰܾΊख͸ͳ͔ͬͨʜ
    

    w ໰୊͕͋ͬͨ࣌ʹҰ൪ʮӡ༻ͰΧόʔʯग़དྷͦ͏ͩͬͨͷ ͕"JSGMPXͩͬͨ ଞͷδϣϒϚωδϝϯτπʔϧͱͷൺֱ

12. w δϣϒͷεέδϡʔϦϯά
    w DSPOܗࣜͰࢦఆՄೳ
    w λεΫͷґଘؔ܎ΛίʔυͰهड़
    w 1ZUIPOͰ%"(΍λεΫΛهड़
    w %"(
    ༗ޮඇ८ճάϥϑɻ͜͜Ͱ͸λεΫؒͷ࣮ߦॱ

    ΍ґଘؔ܎Λࣔ͢άϥϑ
    w 8FC6*ʹΑΔλεΫ΍ϨϙʔτͷϏδϡΞϥΠζ "JSGMPXͰͰ͖Δ͜ͱ

13. w 1ZUIPOͷίʔυͰهड़
    w 0QFSBUPSͰλεΫΛͭͣͭهड़
    w CBTIίϚϯυΛ࣮ߦ͢Δ#BTI0QFSBUPSͷྫ λεΫͷهड़ # DAG dag

    = DAG(‘test_dag’, start_date=datetime(2018, 4, 6) # bashίϚϯυλεΫͷྫ test_task = BashOperator( task_id='test_task', bash_command='ls -al’, dag=dag)

14. w λεΫؒͷґଘؔ܎ΛϏοτγϑτԋࢉࢠΛ࢖ͬͯهड़ λεΫؒͷґଘؔ܎ # DAG dag = DAG(‘test_dag’, start_date=datetime(2018, 4,

    6) # bashίϚϯυλεΫͷྫ task_ls = BashOperator( task_id='task_ls', bash_command='ls -al', dag=dag) task_echo = BashOperator( task_id='task_echo', bash_command='echo "hoge"', dag=dag) task_date = BashOperator( task_id='task_date', bash_command='date "+%F %T"', dag=dag) # λεΫؒͷґଘؔ܎ΛϏοτԋࢉࢠͰهड़ task_ls >> task_echo task_ls >> task_date

15. ͜Μͳ%"(΋ඳ͚·͢

16. ࢖༻Ͱ͖Δ0QFSBUPS w #BTI0QFSBUPSͷଞʹɺ1ZUIPO0QFSBUPS
    1PTUHSFT0QFSBUPS
    44)0QFSBUPS
    ͳͲɻଞʹ΋৭ʑ
    w "84ؔ࿈ͩͱ
    w 3FETIJGU5P45SBOTGFS
    

    w 4'JMF5SBOTGPSN0QFSBUPS
    w &$40QFSBUPS
    w &NS"EE4UFQT0QFSBUPS
    ͳͲͷΑ͏ͳ΋ͷ΋͋Δ

17. "JSGMPX
    %"(Ұཡ w ొ࿥͞Ε͍ͯΔ%"(ͷϦετ
    w ࢦఆͷσΟϨΫτϦʹஔ͔Ε͍ͯΔ1ZUIPOͷιʔεϑΝΠ ϧ܈͔Βੜ੒

18. %"(
    5SFF
    7JFX w %"(ͷλεΫ͝ͱͷεςʔλεҰཡ
    w ͲͷλεΫ͕ɺ͍ͭͲͷΑ͏ͳεςʔλε͔ͩͬͨҰ໨ྎવ

19. %"(
    5BTL
    %VSBUJPO w %"(ͷλεΫ͝ͱͷ࣮ߦ࣌ؒͷਪҠάϥϑ

20. %"(
    (BOUU w ࣮ߦ͞Εͨ%"(ͷΨϯτνϟʔτ
    w 5BTL
    %VSBUJPOͱ͋ΘͤͯϘτϧωοΫ͕ࢹ֮Խ

21. "JSGMPXͷαʔϏε

22. "JSGMPXͷαʔϏε WebGUIͷॲཧ DAGͷεέδϡʔϧ΍DAG RunͳͲ ϝλσʔλ͕֨ೲ͞ΕͨDB (DAG Run: DAGΛΠϯελϯεԽͨ͠΋ͷ)

23. "JSGMPXͷαʔϏε DAGΛ؂ࢹ͠ɺεέδϡʔϧʹ Ԡͯ͡DAG RunΛੜ੒ OperatorΛΩϡʔΠϯά

24. "JSGMPXͷαʔϏε OperatorͷॲཧΛ࣮ߦ ΩϡʔΠϯά͞Εͨ OperatorΛऔಘ Celeryͷ݁Ռ֨ೲ

25. &YFDVUPS w εέδϡʔϦϯάɺ΍λεΫͷ࣮ߦͷฒྻɺ෼ࢄॲཧΛͲͷ Α͏ͳ࢓૊ΈͰ࣮ߦ͢Δ͔Λܾఆ
    w 4FRVFOUJBM&YFDVUPS
    w -PDBM&YFDVUPS
    w $FMFSZ&YFDVUPS
    

    w %BTL&YFDVUPS
    w .FTPT&YFDVUPS
    w &YFDVUPSʹΑͬͯɺTDIFEVMFS΍XPSLFSͷڍಈ͕มΘΔ
    w 4FRVFOUJBM&YFDVUPSͷ৔߹ɺXPSLFS͕ෆཁʹͳΔ

26. Ϧϒηϯεͷ"JSGMPXӡ༻ߏ੒

27. Ϧϒηϯεͷ"JSGMPXӡ༻ߏ੒ Airflow Webserver Airflowϝλσʔλ؅ཧ AirflowϝοηʔδϒϩʔΧʔ (Celery)

28. Ϧϒηϯεͷ"JSGMPXӡ༻ߏ੒ Ruby rakeλεΫ GlueͰS3ͷσʔλ Λparquetม׵ Redshift΁ͷΫΤϦ ࣮ߦ EMR/SparkͰσʔ λม׵ॲཧ

29. w 3FETIJGUʹର͢ΔఆظతͳΫΤϦ࣮ߦ
    w αϚϦςʔϒϧͷੜ੒ͱ͔ɺ7"$66.ͷ࣮ߦ؅ཧͱ͔
    w ϔϧενΣοΫܥΫΤϦͷ࣮ߦ
    w &.3ͷىಈτϦΨ
    w &.3࣮ߦલͷલॲཧɺޙॲཧΛهड़
    

    w લॲཧऴྃޙɺ&.3ىಈɺTUFQ௥Ճɺॲཧऴྃ଴ͪɺΫϥε λఀࢭɺޙॲཧͷྲྀΕΛ%"(Ͱهड़
    w 3FETIJGUͷΫΤϦͰॻ͘͜ͱ͕ࠔ೉ͳෳࡶͳॲཧΛ&.3Ͱॲ ཧ
    w (MVFىಈτϦΨ
    w 3FETIJGU
    4QFDUSVN༻ʹ1BSRVFUม׵͢Δॲཧ
    w &.3ಉ༷ɺ(MVF࣮ߦલͷલॲཧɺޙॲཧΛهड़ ͲͷΑ͏ʹ"JSGMPXΛ׆༻͍ͯ͠Δ͔

30. ґଘؔ܎ͷ͋Δσʔλੜ੒

31. ґଘؔ܎ͷ͋Δσʔλੜ੒ base_table͔Β table1Λੜ੒

32. ґଘؔ܎ͷ͋Δσʔλੜ੒ ੜ੒ͨ͠table1͔Β table2Λੜ੒

33. ґଘؔ܎ͷ͋Δσʔλੜ੒ ੜ੒ͨ͠table2͔Β table3Λੜ੒

34. *OUFSMFBWFE
    TPSULFZ͕͋Δςʔϒϧੜ੒ͱ7"$66.

35. *OUFSMFBWFE
    TPSULFZ͕͋Δςʔϒϧੜ੒ͱ7"$66. table1͔Βtable2Λ ੜ੒

36. *OUFSMFBWFE
    TPSULFZ͕͋Δςʔϒϧੜ੒ͱ7"$66. table2ʹVACUUM REINDEXΛ ࣮ߦ͢ΔͨΊSQSʹenqueue

37. *OUFSMFBWFE
    TPSULFZ͕͋Δςʔϒϧੜ੒ͱ7"$66. ผDAGͰఆظతʹ SQSϙʔϦϯά

38. *OUFSMFBWFE
    TPSULFZ͕͋Δςʔϒϧੜ੒ͱ7"$66. SQSϝοηʔδऔಘͨ͠Βɺ table2ʹVACUUM REINDEX࣮ߦ

39. &.3Ͱॲཧ͞ΕͨσʔλΛ3FETIJGU΁$01:

40. &.3Ͱॲཧ͞ΕͨσʔλΛ3FETIJGU΁$01: EMRΫϥελΛੜ੒

41. &.3Ͱॲཧ͞ΕͨσʔλΛ3FETIJGU΁$01: EMRʹεςοϓΛ௥Ճ͠ɺ S3ͷσʔλΛม׵ɺੜ੒ EMRͰੜ੒͞ΕͨσʔλΛ S3ʹ֨ೲ

42. &.3Ͱॲཧ͞ΕͨσʔλΛ3FETIJGU΁$01: ੜ੒͞ΕͨS3ͷσʔλΛ RedshiftʹCOPY

43. &.3Ͱॲཧ͞ΕͨσʔλΛ3FETIJGU΁$01: EMRΫϥελΛ࡟আ

44. w λεΫͷεέδϡʔϧ΍ґଘؔ܎͕੔ཧͰ͖ͨ
    w (6*ͰҰ໨ྎવ
    w ίʔυϕʔεͰ%"(؅ཧ͕Ͱ͖ΔΑ͏ʹͳͬͨ
    w ࣮ߦ݁Ռɺ࣮ߦ࣌ؒ΋؅ཧͰ͖ΔΑ͏ʹͳͬͨ
    w ࣮ߦ݁Ռͷϩάͷ؅ཧָ͕ʹͳͬͨ
    

    w ࠓ·Ͱ͸όοναʔόʹೖͬͯɺ௚઀ϩάϑΝΠϧΛݟ Δ͔͠ͳ͔ͬͨ
    w (6*্Ͱ֬ೝͰ͖ɺো֐ͷݪҼͷௐࠪ΋ָʹͳͬͨ
    w 8PSLFS͕εέʔϧͰ͖ΔΑ͏ʹͳͬͨ
    w ͕ɺࠓͷͱ͜Ζؒʹ߹͍ͬͯΔͷͰɺ·ͩͯ͠ͳ͍ "JSGMPXΛಋೖͯ͠Α͔ͬͨ͜ͱ

45. w ఀࢭޙͷ෮چ͕݁ߏ໘౗
    w 3FETIJGUͷϊʔυ௥ՃͳͲɺҰ࣌తʹఀࢭ͢Δඞཁ͕͋Δͱ͖
    w ෮چޙɺཷ·͍ͬͯͨεέδϡʔϧ͕·ͱΊ࣮ͯߦ͞ΕΔ໰୊
    w ϔϧενΣοΫΫΤϦͳͲ୹͍पظͰ࣮ߦ͞ΕΔ%"(ͱ͔
    w ҰؾʹΫΤϦΛ౤͛ͯ͘ΔͷͰ%P4ঢ়ଶʹ
    

    w όʔδϣϯͰ$BUDIVQΛແޮʹ͢Δઃఆ͕ग़དྷͨͷͰɺղফ
    w &YFDVUJPO%BUFͱ࣮ࡍͷ࣮ߦ͕࣌ؒͣΕͯΔ
    w &YFDVUJPO%BUF͕ͳͷʹɺ࣮ࡍʹ͸ ʹ࣮ߦ͞ΕͯͨΓ
    w ଟ෼λΠϜκʔϯॲཧʹ໰୊͕͋ΔΜ͡Όͳ͍͔ͱਪଌ "JSGMPXӡ༻Ͱۤ࿑ͨ͜͠ͱ

46. w λεΫࣦഊޙͷ࠶࣮ߦ
    w %"(ͷ్தͰࣦഊͨ͠৔߹ɺ͋ͱͰࣦഊͨ͠ͱ͜Ζ͔Β࠶࣮ߦ ग़དྷΔ͕ɺࠓ͸खಈͰSBLFΛ௚઀࣮ߦ͍ͯ͠Δ
    w ࠶։ΦϖϨʔγϣϯΛ΋͏গָ͠ʹͰ͖ΔΑ͏ݟ௚͍ͨ͠
    w λεΫ࣮૷ํ๏
    w

    Ҏલͷӡ༻Ͱ࢖͍ͬͯͨ3VCZ
    3BLFλεΫΛͦͷ··࢖͍ͬͯ Δ͕1ZUIPOʹஔ͖׵͍͑ͯͬͨ΄͏͕͍͍͔Ͳ͏͔໎͍தʜ
    w "JSGMPX
    "1*ͷ0QFSBUPSΛ௚઀ୟ͚ΔϝϦοτ͸େ͖͍
    w ͕ɺ%"(ͱϩδοΫ͸෼཭͍ͨ͠
    w %PDLFSԽ
    w &$4΍&,4Ͱӡ༻Ͱ͖ΔΑ͏ʹ͍ͨ͠ʜ ࠓޙͷ՝୊

47. w Ϧϒηϯε
    ςΫϊϩδΧϧϚʔέςΟϯά෦ͷ೔ʑͷ׆ಈͰ֫ಘ ͨ͠৘ใΛެ։͍ͯ͠·͢
    w IUUQBOBMZUJDTMJWFTFOTFDPKQ
    w "JSGMPXʹ͍ͭͯ΋ઌ೔هࣄΛެ։͠·ͨ͠ͷͰɺซͤͯ͝ࢀর͘ ͍ͩ͞
    w IUUQBOBMZUJDTMJWFTFOTFDPKQFOUSZ

    13
    -JWFTFOTF
    %BUB
    "OBMZUJDT
    #MPH

48. ͋ͨΓ·͑Λɺൃ໌͠Α͏ɻ

49. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ