AirflowからKuroko2に乗り換えたわけ

Tokyo Airflow Meetup #1

Transcript

1. Airflow͔ΒKuroko2 ʹ৐Γ׵͑ͨΘ͚ by hatappi @Tokyo Airflow Meetup #1 1
2. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 2
3. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 3
4. ࣗݾ঺հ • ໊લ: ാத༔࡞ • ID: hatappi • ձࣾ: גࣜձࣾSpeee • ΍͍ͬͯΔ͜ͱ • UZOU • Angular + RailsͰ࡞੒͢Δސ٬؅ཧγεςϜ 4
5. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 5
6. AirflowΛ͍ΕΔલ 6 ఆظతʹόονΛ࣮ߦ͍ͨ͠ cronΛ࢖͑͹Ͱ͖ΔͶ
7. cronӡ༻Ͱى͖ͨ͜ͱ • ͳ͔ͥࢦఆͨ࣌ؒ͠ʹىಈ͠ͳ͍ • ࣮ߦݖݶʁ࣌ؒʁcrondىಈͯ͠Δ? • ࣮ߦϑΝΠϧͰϩάग़ͯ͠ͳ͍͔ΒԿ͕ى͖͔ͨݪ Ҽ͕෼͔Βͳ͍ 7
8. ΍Γ͍ͨ͜ͱΛ੔ཧ 8 ఆظ࣮ߦ λεΫͷؔ࿈ੑ ࣮ߦঢ়ଶͷ֬ೝ EngҎ֎Ͱ΋ϦτϥΠ
9. 9 Airflowͷ࠾༻
10. Airflowͱ͸? • ϫʔΫϑϩʔϚωδϝϯτγεςϜ • OpenAir 2015ͰAirbnb͕ࣾࣗࣾͰ։ൃ͍ͯͨ͠΋ ͷΛΦʔϓϯιʔεԽͱൃද • ݱࡏ͸Apache IncubatorͷΦʔϓϯιʔεϓϩ δΣΫτ 10
11. 11 DAG TASK
12. Airflowͷ࠾༻ • ৄ͘͠͸ϒϩά΁ • http://tech.speee.jp/entry/2016/07/07/050000 12
13. 13 ॻ͍ͯͳ͍
14. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 14
15. ྑ͔ͬͨ͜ͱ • λεΫͷґଘؔ܎͕ՄࢹԽ͞Εɺ࣮ߦ͞Ε͍ͯΔ࣌ ͸Ͳ͜·ͰऴΘ͍ͬͯΔͷ͔෼͔Δ 15
16. ྑ͔ͬͨ͜ͱ • ϩά͸ඪ४ग़ྗ, ඪ४Τϥʔग़ྗΛग़ྗͯ͘͠ΕΔ ͷͰԿ͔ஔ͖ͨͱ͖ʹσόοά͠΍͘͢ͳͬͨ 16
17. ྑ͔ͬͨ͜ͱ • ϓϩάϥϜΛमਖ਼Λඞཁͱ͠ͳ͍ݶΓ࠶࣮ߦ͸Eng Ҏ֎Ͱ΋ग़དྷΔΑ͏ʹ 17
18. ͓͖ͨ໰୊ • ϩάΠϯػೳ • UTC • DAGͷฤू • DAGϑΝΠϧͷංେԽ 18
19. ϩάΠϯػೳ • σϑΥϧτͰ͸FalseͳͷͰઃఆ͕ඞཁ • http://qiita.com/hatappi/items/ 1b8a3a2d1f4b01c844ef 19
20. UTC • ͜Ε͸͍࣮ͭߦ͞ΕΔͰ͠ΐ͏͔ 20
21. 21 Airflow͕ಈ͍͍ͯΔϚγ ϯͷλΠϜκʔϯʹΑΔ
22. Ϛγϯ͕JSTͷ࣌ • JSTͰ10:00ʹ࣮ߦ͞ΕΔͷͰը໘্ͷUTCදهͰ ͸1:00ʹ࣮ߦ͞ΕΔ • ը໘ͰݟΔ࣌͸ຖճ+9࣌ؒ͠ͳ͍ͱ͍͚ͳ͍͆ 22
23. ໰౴ແ༻ͷUTC • UTCʹͳΔΑ͏ʹϋʔυίʔσΟϯά͞Ε͍ͯΔ • ৄ͘͠͸ • http://qiita.com/hatappi/items/2a4d41ca14746a3c98a6 23
24. DAGͷฤू • ৽ن௥Ճɺฤू͸ίϚϯυϥΠϯ্͔Βߦ͏ • ੲ͸೔ຊޠίϝϯτ͕ग़དྷͳ͔ͬͨΑ͏͕ͩv1.8.0 Ͱ֬ೝͨ͠ͱ͜Ζग़དྷͨ 24
25. DAGϑΝΠϧͷංେԽ • PythonͰఆٛ͢ΔͷͰAPI௨৴Ͱ΋ԿͰ΋ग़དྷΔ • ϩδοΫ͸λεΫ΍εΫϦϓτʹఆٛͯ͠DAGʹ ͸λεΫͷґଘؔ܎΍εέδϡʔϧʹઐ೦ͤ͞Δ΂ ͖ͩͬͨ 25
26. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 26
27. Kuroko2ͱ͸ • cookpad੡ͷδϣϒ؅ཧπʔϧ • RailsʹͷͤΔܗͰ࢖༻͢Δ • ϩάΠϯ͸GoogleOAuthೝূ͕͍͍ͭͯΔ • ࣌ࠁ͸Railsͷઃఆ͕൓ө͞ΕΔ • ϒϥ΢β্͔Β৽ن௥Ճɺฤू͕ग़དྷΔ 27
28. ॻ͖׳ΕͨݴޠͰ͋Δ͜ͱ • ࣾ಺ͷϝΠϯݴޠ͕RubyͳͷͰ৽͍͠ํ͕ೖͬͯ ΋ཧղ͠΍͍͢ • ίʔυ͸RubyͰ͔͔Ε͍ͯΔͷͰίʔυ΋ಡΊΔ ͠ͳ͓ͤΔ • ΄͍͠ػೳ͕͋Ε͹ࣗ෼Ͱ։ൃ΋ग़དྷΔ • https://github.com/hatappi/kuroko2_read_only 28
29. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ • ·ͱΊ 29
30. ·ͱΊ • AirflowͰ΋Kuroko2Ͱ΋ࣗ෼ͷ໨తʹ͋ͬͨ΋ͷ Λ࢖༻͢Δͱྑͦ͞͏Ͱ͢ • OSSͳͷͰԿ͔͋Ε͹commit͘Β͍ͷؾ࣋ͪ • DAG͸ઈରʹංେԽͤ͞ͳ͍ʂ 30
31. 31 ͓ΘΓ