Tech x Marketing #4 Airflowでもサブワークフロー単位で分割開発したい!

Transcript

1. AirflowͰ΋αϒϫʔΫϑϩʔ ୯ҐͰ෼ׂ։ൃ͍ͨ͠ʂ Tech x Marketing meetup #4 גࣜձࣾ ి௨σδλϧ দా ௚थ 2020/08/27
2. ࣗݾ঺հ - ໊લɿদా ௚थ (·ͭͩ ͳ͓͖) - ॴଐɿגࣜձࣾ ి௨σδλϧ (2018೥ೖࣾ) - ۀ຿ɿόοΫΤϯυαʔϏεAPI࣮૷ ETLߏஙͳͲ (࢖༻ݴޠɿGo / Python) - ֶੜ࣌୅ɿےܹࢗ࣌ͷΤωϧΪʔফඅ/࢈ੜͷݚڀ AirflowͷTalk & Blogࣥචɿ - ৽ถPythonista͕ଃΔAirflowೖ໳&׆༻ࣄྫ঺հ(PyConJP2019) - AirflowͷλεΫ࣮ߦ؀ڥΛ෼཭͢Δ(DentsuDigital Tech Blog)
3. ಺༰ ΍Γ͍ͨ͜ͱ AirflowͷDAG (ϫʔΫϑϩʔ)Λෳ਺ਓͰ։ൃ͍ͨ͠ʂ ݕ౼ͨ͠ํ๏ X SubDagOperatorʢฒྻ࣮ߦͷ੍ޚෆՄɺϚωʔδυαʔϏεͰ࢖༻͕ਪ঑͞Εͯͳ͍ʣ X TriggerDagRunOperator / ExternalTaskSensorʢґଘؔ܎͕Θ͔ΓͮΒ͘ͳΔʣ ̋ λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂʢఏҊख๏ʣ
4. Apache Airflowͱ͸ - PythonͰهड़͞ΕͨϫʔΫϑϩʔ(DAG)ͷ࣮ߦɾ؂ࢹπʔϧ - ApacheτοϓϨϕϧϓϩδΣΫτͷͻͱͭ ίϯτϦϏϡʔλɿ1000 + ελʔ਺ɿ17000 +
5. Apache Airflowͱ͸ - DAGɿTaskͷ࣮ߦॱংΛܾఆ͢Δάϥϑ - OperatorɿςϯϓϨʔτԽ͞Ε࣮ͨߦ୯Ґ - Taskɿύϥϝʔλ͕༩͑ΒΕͨOperator Operators (Python, HTTP, MySQL, KubernetesPod…) A B C D https://www.slideshare.net/potix2_jp/airflow-224004058 DAG - Taskґଘؔ܎ɿ >> Ͱఆٛ ྫ) A >> [B, C] >> D Task
6. ΍Γ͍ͨ͜ͱ AirflowͷDAG (ϫʔΫϑϩʔ)Λෳ਺ਓͰ։ൃ͍ͨ͠ʂ ݕ౼ͨ͠ํ๏ X SubDagOperatorʢฒྻ࣮ߦͷ੍ޚෆՄɺϚωʔδυαʔϏεͰ࢖༻͕ਪ঑͞Εͯͳ͍ʣ X TriggerDagRunOperator / ExternalTaskSensorʢґଘؔ܎͕Θ͔ΓͮΒ͘ͳΔʣ ̋ λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂʢఏҊख๏ʣ ͷഎܠ ಺༰
7. DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ DAG͸໾ׂ(ػೳ)͕ҟͳΔϑϩʔʹΑΓߏ੒͞Ε͏Δ
8. DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ ɾɾɾ DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG ໾ׂ(ػೳ)͕ҟͳΔϑϩʔ͸֤ʑҟͳΔγεςϜͱ࿈ܞ͢Δ ࿈ܞઌγεςϜ
9. DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG 1ਓͰ΍Δͱେมʂʂ ɾɾɾ ໾ׂ(ػೳ)͕ҟͳΔϑϩʔ͸֤ʑҟͳΔγεςϜͱ࿈ܞ͢Δ ࿈ܞઌγεςϜ
10. DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ ࿈ܞઌγεςϜ࢓༷ʹৄ͍͠ਓʹ͓ئ͍͍ͨ͠ DWHৄ͍͠ਓ εϓϨουγʔ τपΓৄ͍͠ਓ
11. DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ DWHৄ͍͠ਓ εϓϨουγʔ τपΓৄ͍͠ਓ αϒϫʔΫϑϩʔ ࿈ܞઌγεςϜ࢓༷ʹৄ͍͠ਓʹ͓ئ͍͍ͨ͠
12. DWHͷσʔλΛՃ޻͢ Δϑϩʔ εϓϨουγʔτ͔Β σʔλΛऔಘͯ͠Ճ޻͢ Δϑϩʔ Ճ޻σʔλΛಥ߹ͯ͠ σʔλϚʔτΛߋ৽͢Δ ϑϩʔ σʔλϚʔτΛߋ৽͢ΔDAG DAGΛෳ਺ਓͰ։ൃ͍ͨ͠ʂ DAG͸جຊతʹ1ͭͷϑΝΠϧ DWHৄ͍͠ਓ εϓϨουγʔ τपΓৄ͍͠ਓ
13. ϫʔΫϑϩʔΛ෼ׂ։ൃ͢ΔͨΊͷ৚݅
14. ϫʔΫϑϩʔΛ෼ׂ։ൃ͢ΔͨΊͷ৚݅ • ϫʔΫϑϩʔ(DAG)Λߏ੒͢ΔαϒϫʔΫϑϩʔ͕ϑΝΠϧͰ෼཭͞ΕΔ • ෼཭ϑΝΠϧؒͰґଘؔ܎͕ఆٛͰ͖Δ • ෼཭ϑΝΠϧؒͰఆٛ͞Εͨґଘؔ܎͕UI্ͰՄࢹԽ͞ΕΔ • ฒྻ࣮ߦ਺੍͕ޚͰ͖Δ αϒϫʔΫϑϩʔ1 αϒϫʔΫϑϩʔ2 αϒϫʔΫϑϩʔ3 ґଘؔ܎
15. ఏҊํ๏ λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂ
16. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂ • ֤αϒϫʔΫϑϩʔͷఆٛϑΝΠϧͰɺͦͷαϒϫʔΫϑϩʔͷ࠷ॳͱ࠷ޙͷλεΫΛ ฦ͢ → αϒϫʔΫϑϩʔͷ࠷ॳͱ࠷ޙͷλεΫ͕෼͔Ε͹ɺαϒϫʔΫϑϩʔؒͷґଘؔ܎ఆٛ Ͱ͖Δ ˍ ͦͷґଘؔ܎ఆٛʹ͓͍ͯαϒϫʔΫϑϩʔͷத਎͸ϒϥοΫϘοΫεʹͰ͖Δ ίϯηϓτ αϒϫʔΫϑϩʔ1 αϒϫʔΫϑϩʔ2 αϒϫʔΫϑϩʔ3
17. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂ - αϒϫʔΫϑϩʔΛఆٛ͢ΔͨΊͷϑΝΠϧΛ࡞੒ - αϒϫʔΫϑϩʔؒͷґଘؔ܎Λఆٛ αϒϫʔΫϑϩʔ1ɿsw1.py αϒϫʔΫϑϩʔ2ɿsw2.py αϒϫʔΫϑϩʔ3ɿsw3.py main.py
18. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂ αϒϫʔΫϑϩʔ1ɿsw1.py αϒϫʔΫϑϩʔ2ɿsw2.py αϒϫʔΫϑϩʔ3ɿsw3.py main.py - αϒϫʔΫϑϩʔΛఆٛ͢ΔͨΊͷϑΝΠϧΛ࡞੒ - αϒϫʔΫϑϩʔؒͷґଘؔ܎Λఆٛ
19. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂɿαϒϫʔΫϑϩʔͷఆٛ - DAGΦϒδΣΫτΛड͚औΓαϒϫʔΫϑ ϩʔͷ࠷ॳͱ࠷ޙͷλεΫΛฦؔ͢਺Λ࡞੒ - ͜ͷؔ਺಺ͰαϒϫʔΫϑϩʔͷλεΫͱͦ ͷґଘؔ܎Λఆٛ sw1.py αϒϫʔΫϑϩʔ1ɿsw1.py
20. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂɿαϒϫʔΫϑϩʔͷఆٛ sw1.py ؔ਺Ͱฦ͢༻ʹ࠷ॳͱ࠷ޙͷλεΫఆٛ αϒϫʔΫϑϩʔͷػೳ෦෼ͷλεΫఆٛ ґଘؔ܎ఆٛ αϒϫʔΫϑϩʔ1ɿsw1.py
21. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂɿαϒϫʔΫϑϩʔؒͷґଘؔ܎ఆٛ αϒϫʔΫϑϩʔ1ɿsw1.py αϒϫʔΫϑϩʔ2ɿsw2.py αϒϫʔΫϑϩʔ3ɿsw3.py main.py - αϒϫʔΫϑϩʔΛఆٛ͢ΔͨΊͷϑΝΠϧΛ࡞੒ - αϒϫʔΫϑϩʔؒͷґଘؔ܎Λఆٛ
22. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂɿαϒϫʔΫϑϩʔؒͷґଘؔ܎ఆٛ ֤αϒϫʔΫϑϩʔͷbuild_tasks͔Β࠷ॳͱ࠷ޙͷλ εΫ͕ฦΔ main.py αϒϫʔΫϑϩʔ1ɿsw1.py αϒϫʔΫϑϩʔ2ɿsw2.py αϒϫʔΫϑϩʔ3ɿsw3.py
23. λεΫΛ࡞Δؔ਺Λ࡞ͬͯ෼ׂɿαϒϫʔΫϑϩʔؒͷґଘؔ܎ఆٛ ֤αϒϫʔΫϑϩʔͷbuild_tasks͔Β࠷ॳͱ࠷ޙͷλ εΫ͕ฦΔ ্هͰฦͬͨλεΫΛ࢖ͬͯґଘؔ܎Λఆٛ main.py αϒϫʔΫϑϩʔ1ɿsw1.py αϒϫʔΫϑϩʔ2ɿsw2.py αϒϫʔΫϑϩʔ3ɿsw3.py
24. ·ͱΊ - ػೳͷҟͳΔϑϩʔͰߏ੒͞ΕΔDAG͸઀ଓઌ΋༷ʑͳͷͰ1ਓͰ͸େมͳ ৔߹͕͋ͬͨ - λεΫΛ࡞Δؔ਺Λ༻͍ͯαϒϫʔΫϑϩʔ୯ҐͰϑΝΠϧ෼ׂͰ͖։ൃ͕ ָʹͳΓ·ͨ͠ - αϒϫʔΫϑϩʔͷ࠷ॳͱ࠷ޙͷλεΫΛ͔ͭͬͯґଘؔ܎ఆٛ - αϒϫʔΫϑϩʔؒґଘؔ܎ఆٛͰ͸αϒϫʔΫϑϩʔͷத਎͸ϒϥοΫϘοΫεʹͰ͖Δ - UIͷGraph viewͰDAGશମΛݟΔͱ͖ʹগ͠ݟ௨͕͠ѱ͍͔΋ʁ - SubDagͰ͋Ε͹·ͱΊͯදࣔͯ͘͠ΕΔ
25. Appendix
26. SubDagOperator - ओʹ܁Γฦ͠ύλʔϯͰར༻͞ΕΔɻ - ฒྻλεΫΛSubDagΛ࢖͑͹·ͱΊΒΕΔ
27. SubDagOperator - ओʹ܁Γฦ͠ύλʔϯͰར༻͞ΕΔɻ - ฒྻλεΫΛSubDagΛ࢖͑͹·ͱΊΒΕΔ Cloud Composer Astronomer
28. SubDagOperator - ओʹ܁Γฦ͠ύλʔϯͰར༻͞ΕΔɻ - ฒྻλεΫΛSubDagΛ࢖͑͹·ͱΊΒΕΔ Α͍఺ - ϑΝΠϧΛ෼཭Մೳ - αϒϫʔΫϑϩʔΛ·ͱΊͯදࣔͰ͖Δ - ґଘؔ܎͕ՄࢹԽ͞ΕΔ Α͘ͳ͍఺ - ݱঢ়SubDagΛ࢖͏ʹ͸஫ҙ఺͕ଟ͘ɺ࢖ ༻͕ਪ঑͞Εͯͳ͍
29. TriggerDagRunOperator / ExternalTaskSensor Α͍఺ - Trigger΍SensorͰґଘؔ܎ΛఆٛՄೳ - (ผͷDAGͱͯ͠)ϑΝΠϧΛ෼཭Մೳ Α͘ͳ͍఺ - DAGؒͷґଘؔ܎͕UI্ͰՄࢹԽ͞Εͳ͍ - αϒϫʔΫϑϩʔ͝ͱʹDAG࡞੒ʹͳΔ task 1-1 sensor task 2-1 task 2-2 DAG 1 DAG 2 DAG 1 DAG 2 trigger
30. ݕ౼ͨ͠ํ๏ͷൺֱ