AirflowからKuroko2に乗り換えたわけ

 AirflowからKuroko2に乗り換えたわけ

Tokyo Airflow Meetup #1

C582b722e015633f7900083f8ea75732?s=128

hatappi

May 16, 2017
Tweet

Transcript

  1. Airflow͔ΒKuroko2 ʹ৐Γ׵͑ͨΘ͚ by hatappi @Tokyo Airflow Meetup #1 1

  2. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 2
  3. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 3
  4. ࣗݾ঺հ • ໊લ: ാத༔࡞ • ID: hatappi • ձࣾ: גࣜձࣾSpeee

    • ΍͍ͬͯΔ͜ͱ • UZOU • Angular + RailsͰ࡞੒͢Δސ٬؅ཧγεςϜ 4
  5. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 5
  6. AirflowΛ͍ΕΔલ 6 ఆظతʹόονΛ࣮ߦ͍ͨ͠ cronΛ࢖͑͹Ͱ͖ΔͶ

  7. cronӡ༻Ͱى͖ͨ͜ͱ • ͳ͔ͥࢦఆͨ࣌ؒ͠ʹىಈ͠ͳ͍ • ࣮ߦݖݶʁ࣌ؒʁcrondىಈͯ͠Δ? • ࣮ߦϑΝΠϧͰϩάग़ͯ͠ͳ͍͔ΒԿ͕ى͖͔ͨݪ Ҽ͕෼͔Βͳ͍ 7

  8. ΍Γ͍ͨ͜ͱΛ੔ཧ 8 ఆظ࣮ߦ λεΫͷؔ࿈ੑ ࣮ߦঢ়ଶͷ֬ೝ EngҎ֎Ͱ΋ϦτϥΠ

  9. 9 Airflowͷ࠾༻

  10. Airflowͱ͸? • ϫʔΫϑϩʔϚωδϝϯτγεςϜ • OpenAir 2015ͰAirbnb͕ࣾࣗࣾͰ։ൃ͍ͯͨ͠΋ ͷΛΦʔϓϯιʔεԽͱൃද • ݱࡏ͸Apache IncubatorͷΦʔϓϯιʔεϓϩ

    δΣΫτ 10
  11. 11 DAG TASK

  12. Airflowͷ࠾༻ • ৄ͘͠͸ϒϩά΁ • http://tech.speee.jp/entry/2016/07/07/050000 12

  13. 13 ॻ͍ͯͳ͍

  14. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 14
  15. ྑ͔ͬͨ͜ͱ • λεΫͷґଘؔ܎͕ՄࢹԽ͞Εɺ࣮ߦ͞Ε͍ͯΔ࣌ ͸Ͳ͜·ͰऴΘ͍ͬͯΔͷ͔෼͔Δ 15

  16. ྑ͔ͬͨ͜ͱ • ϩά͸ඪ४ग़ྗ, ඪ४Τϥʔग़ྗΛग़ྗͯ͘͠ΕΔ ͷͰԿ͔ஔ͖ͨͱ͖ʹσόοά͠΍͘͢ͳͬͨ 16

  17. ྑ͔ͬͨ͜ͱ • ϓϩάϥϜΛमਖ਼Λඞཁͱ͠ͳ͍ݶΓ࠶࣮ߦ͸Eng Ҏ֎Ͱ΋ग़དྷΔΑ͏ʹ 17

  18. ͓͖ͨ໰୊ • ϩάΠϯػೳ • UTC • DAGͷฤू • DAGϑΝΠϧͷංେԽ 18

  19. ϩάΠϯػೳ • σϑΥϧτͰ͸FalseͳͷͰઃఆ͕ඞཁ • http://qiita.com/hatappi/items/ 1b8a3a2d1f4b01c844ef 19

  20. UTC • ͜Ε͸͍࣮ͭߦ͞ΕΔͰ͠ΐ͏͔ 20

  21. 21 Airflow͕ಈ͍͍ͯΔϚγ ϯͷλΠϜκʔϯʹΑΔ

  22. Ϛγϯ͕JSTͷ࣌ • JSTͰ10:00ʹ࣮ߦ͞ΕΔͷͰը໘্ͷUTCදهͰ ͸1:00ʹ࣮ߦ͞ΕΔ • ը໘ͰݟΔ࣌͸ຖճ+9࣌ؒ͠ͳ͍ͱ͍͚ͳ͍͆ 22

  23. ໰౴ແ༻ͷUTC • UTCʹͳΔΑ͏ʹϋʔυίʔσΟϯά͞Ε͍ͯΔ • ৄ͘͠͸ • http://qiita.com/hatappi/items/2a4d41ca14746a3c98a6 23

  24. DAGͷฤू • ৽ن௥Ճɺฤू͸ίϚϯυϥΠϯ্͔Βߦ͏ • ੲ͸೔ຊޠίϝϯτ͕ग़དྷͳ͔ͬͨΑ͏͕ͩv1.8.0 Ͱ֬ೝͨ͠ͱ͜Ζग़དྷͨ 24

  25. DAGϑΝΠϧͷංେԽ • PythonͰఆٛ͢ΔͷͰAPI௨৴Ͱ΋ԿͰ΋ग़དྷΔ • ϩδοΫ͸λεΫ΍εΫϦϓτʹఆٛͯ͠DAGʹ ͸λεΫͷґଘؔ܎΍εέδϡʔϧʹઐ೦ͤ͞Δ΂ ͖ͩͬͨ 25

  26. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 26
  27. Kuroko2ͱ͸ • cookpad੡ͷδϣϒ؅ཧπʔϧ • RailsʹͷͤΔܗͰ࢖༻͢Δ • ϩάΠϯ͸GoogleOAuthೝূ͕͍͍ͭͯΔ • ࣌ࠁ͸Railsͷઃఆ͕൓ө͞ΕΔ •

    ϒϥ΢β্͔Β৽ن௥Ճɺฤू͕ग़དྷΔ 27
  28. ॻ͖׳ΕͨݴޠͰ͋Δ͜ͱ • ࣾ಺ͷϝΠϯݴޠ͕RubyͳͷͰ৽͍͠ํ͕ೖͬͯ ΋ཧղ͠΍͍͢ • ίʔυ͸RubyͰ͔͔Ε͍ͯΔͷͰίʔυ΋ಡΊΔ ͠ͳ͓ͤΔ • ΄͍͠ػೳ͕͋Ε͹ࣗ෼Ͱ։ൃ΋ग़དྷΔ •

    https://github.com/hatappi/kuroko2_read_only 28
  29. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 29
  30. ·ͱΊ • AirflowͰ΋Kuroko2Ͱ΋ࣗ෼ͷ໨తʹ͋ͬͨ΋ͷ Λ࢖༻͢Δͱྑͦ͞͏Ͱ͢ • OSSͳͷͰԿ͔͋Ε͹commit͘Β͍ͷؾ࣋ͪ • DAG͸ઈରʹංେԽͤ͞ͳ͍ʂ 30

  31. 31 ͓ΘΓ