觸發觸發器器，那個你可能不熟的 Apache Airflow 元件

Transcript

1. wei-lee.me 觸發觸發器器 那個你可能不熟的 Apache Airflow 元件
2. wei-lee.me Triggerer 已知 Trigger 是觸發器 那 Triggerer 應該是什麼？
3. wei-lee.me Apache Airflow 3.1.3 Trigger 是觸發器，Triggerer 也是觸發器
4. wei-lee.me 這樣不會搞混嗎 🤔
5. wei-lee.me 社群的 力 量 💪 • 觸發器主管 • 觸發器長 • 觸發總管 • 觸發器 人 • 觸發器管理員 • 觸發王 • 觸發強者 • 觸發 大 師 • 非同步觸發魔法棒 • 板機者
6. wei-lee.me Triggerer 👉 觸發者
7. wei-lee.me
8. wei-lee.me
9. wei-lee.me
10. wei-lee.me 為什麼會有繁體中 文
11. wei-lee.me Airflow 3.1+
12. wei-lee.me 如何使 用 Airflow 3.1+ 👀
13. wei-lee.me 自行 架設 Apache Airlfow
14. wei-lee.me Astronom...
15. wei-lee.me Astronomy 天 文 學
16. wei-lee.me
17. wei-lee.me
18. wei-lee.me
19. wei-lee.me 🛝 Slide deck
20. wei-lee.me 溫馨提醒 前 方 可能有晶晶體 4
21. wei-lee.me 觸發者 那個你可能不熟的 Apache Airflow 元件
22. wei-lee.me Airflow 架構 (< 2.2)
23. wei-lee.me
24. wei-lee.me Airflow 架構 (2.2+)
25. wei-lee.me 為什麼要使 用 觸發器！
26. wei-lee.me 一 般的任務操作器 (Operator) from: https://www.astronomer.io/docs/learn/deferrable-operators
27. wei-lee.me 可延後任務操作器 (Deferrable Operator) from: https://www.astronomer.io/docs/learn/deferrable-operators
28. wei-lee.me 現成的可延後任務操作器
29. wei-lee.me 如何使 用 可延後任務操作器
30. wei-lee.me 如何使 用 可延後任務操作器
31. wei-lee.me 如果我有很多任務操作器 不就要 一 個 一 個改 🤯
32. wei-lee.me default_deferrable - 一 鍵全開
33. wei-lee.me 可延後任務操作器如何運作
34. wei-lee.me
35. wei-lee.me 排程器指派任務給 Worker
36. wei-lee.me
37. wei-lee.me Worker 延後任務，轉交給觸發者
38. wei-lee.me
39. wei-lee.me
40. wei-lee.me
41. wei-lee.me
42. wei-lee.me
43. wei-lee.me 完成非同步操作，通知排程器
44. wei-lee.me
45. wei-lee.me
46. wei-lee.me 重新排程，並完成任務
47. wei-lee.me 不過現在不建議 用 AirflowException
48. wei-lee.me 如何實作可延後任務操作器
49. wei-lee.me
50. wei-lee.me
51. wei-lee.me
52. wei-lee.me
53. wei-lee.me 完全非同步的執 行 任務
54. wei-lee.me 排程器直接跟觸發者溝通
55. wei-lee.me
56. wei-lee.me StartTriggerArgs
57. wei-lee.me BaseTaskEndEvent
58. wei-lee.me 限制 • start_from_trigger • 不 支 援動態任務映射 (Dynamic Task Mapping) • 整個 __init__ 階段被跳過 • end_from_trigger • 不 支 援 listener
59. wei-lee.me
60. wei-lee.me
61. wei-lee.me HITL (Human in the Loop) • 人 類在圈圈裡 • 圓環之理 (Airflow 也要簽訂契約成為魔法少女了嗎)
62. wei-lee.me 人 類參與流程 (HITL)
63. wei-lee.me 為什麼需要 HITL?
64. wei-lee.me 為什麼需要 HITL? • 🤖 AI / ML Workflow • 模型預測結果 人工 審核、 高 風險推論確認 • 🛡 內容審核 • ✅ 審批流程
65. wei-lee.me HITL 任務運作流程
66. wei-lee.me 範例 Dag
67. wei-lee.me
68. wei-lee.me 待回應的任務實例 (Required Actions)
69. wei-lee.me 待回應的任務實例 (Required Actions)
70. wei-lee.me HITLOperator
71. wei-lee.me HITLOperator
72. wei-lee.me HITLEntryOperator
73. wei-lee.me HITLEntryOperator
74. wei-lee.me ApprovalOperator
75. wei-lee.me ApprovalOperator
76. wei-lee.me HITLBranchOperator
77. wei-lee.me HITLBranchOperator
78. wei-lee.me
79. wei-lee.me
80. wei-lee.me Airflow providers "JSCZUF "MJCBCB "NB[PO "QQSJTF "TBOB "SBOHP%# "QBDIF
    4QBSL "QBDIF
    1JOPU "QBDIF
    1JH "QBDIF
    -JWZ "QBDIF
    ,ZMJO "QBDIF
    ,BGLB "QBDIF
    )JWF "QBDIF
    )%'4 "QBDIF
    'MJOL "QBDIF
    %SVJE "QBDIF
    %SJMM "QBDIF
    $BTTBOESB "QBDIF
    #FBN %PDLFS %JTDPSE %JOHEJOH ECU %BUBEPH %BUBCSJDLT $PNNPO
    42- $PIFSF ,VCFSOFUFT $FMFSZ +JSB *#.
    $MPVEBOU )551 )BTIJDPSQ H31$ (PPHMF 'BDFCPPL '51 'BDFCPPL &YBTPM &MBTUJDTFBSDI 0QFO-JOFBHF 0QFO"* 0QFO'BB4 0%#$ /FPK .Z42- .POHP%# 8JO3. .442- 1431 .JDSPTPGU
    1PXFS4IFMM
    .JDSPTPGU
    "[VSF +FOLJOT +%#$ *."1 *OGMVY
    %# 1BQFSNJMM 1BHFSEVUZ 0SBDMF 0QTHFOJF 0QFO
    4FBSDI 4FHNFOU 4BNCB 4BMFTGPSDF 3FEJT 1SFTUP 1PTUHSF42- 1JOFDPOF 1H7FDUPS 5BCMFBV 5BCVMBS 44) 42-JUF 4OPXGMBLF 4.51 4MBDL 4JOHVMBSJUZ 4'51 4FOEHSJE 7FSUJDB 5SJOP 5FMFHSBN ;FOEFTL :BOEFY 8FBWJBUF
81. wei-lee.me Provider 還沒被翻譯 絕贊徵求中
82. wei-lee.me 與 AI 相關的 Airflow Providers • apache-airflow-providers-weaviate • apache-airflow-providers-pinecone • apache-airflow-providers-pgvector • apache-airflow-providers-cohere • apache-airflow-providers-openai
83. wei-lee.me Weaviate - vector database
84. wei-lee.me pinecone - vector database
85. wei-lee.me pgvector Open-source vector similarity search for Postgres
86. wei-lee.me cohere NLP platform for accessing LLM
87. wei-lee.me openai
88. wei-lee.me
89. wei-lee.me
90. wei-lee.me 直接 支 援 async def ?
91. wei-lee.me 鼓 勵"正確的"使 用 AI 貢獻
92. wei-lee.me AI 原 生 的 Airflow?
93. wei-lee.me Airflow 官 方 MCP ?
94. wei-lee.me 依據系統架構執 行 任務？
95. wei-lee.me Airflow 開發郵件群組
96. wei-lee.me
97. wei-lee.me
98. wei-lee.me
99. wei-lee.me
100. wei-lee.me ⚒ 開發者
101. wei-lee.me 開源啟蒙
102. wei-lee.me 2013 - 第 一 個 OSS 貢獻（？）
103. wei-lee.me 2015 - 第 一 個有意義的貢獻
104. wei-lee.me 一 些零零碎碎的 小 貢獻
105. wei-lee.me 2019 - 第 一 個 commitizen PR
106. wei-lee.me 都 5202 年了 聽說還有 人 覺得這系列很實 用 ...
107. wei-lee.me 2020 - 成為 commitizen 維護者
108. wei-lee.me 2020 ~ - commitizen 傳教 士
109. wei-lee.me 2020 ~ - 我差不多在這加入的
110. wei-lee.me 2022 - 第 一 個 Apache Airflow PR
111. wei-lee.me 2024 成為 Apache Airlfow Committer
112. wei-lee.me 2025 成為 Apache Airlfow PMC 成員
113. wei-lee.me 暗がりの中 一方 通 行 に ただただ
114. wei-lee.me
115. wei-lee.me 🤝 社群的 一 份 子
116. wei-lee.me Python 社群
117. wei-lee.me Apache Airflow 社群
118. wei-lee.me
119. wei-lee.me
120. wei-lee.me
121. wei-lee.me 用 善意去交換善意
122. wei-lee.me
123. wei-lee.me
124. wei-lee.me
125. wei-lee.me 雖然有時候...會出現 一 些快樂寶 貝
126. wei-lee.me
127. wei-lee.me
128. wei-lee.me 而 我希望 這令 人 無 言 的理想世界中...
129. wei-lee.me 有台灣
130. wei-lee.me
131. wei-lee.me
132. wei-lee.me 我也許無法...
133. wei-lee.me 離開營地前，讓營地比使 用 前更加乾淨
134. wei-lee.me 現在才開始來得及嗎？
135. wei-lee.me
136. wei-lee.me 種樹最好的時間點
137. wei-lee.me 是 十 年前
138. wei-lee.me 跟現在
139. __name__ = 李唯 / Wei Lee __what_i_am_doing__ = [ PMC Member @ Apache Airflow, Maintainer @ commitizen-tools, Volunteer @ PyCon Taiwan, Member @ Python Asia Organization, Meme Bot @ OpenSource4You, Mentor @ OpenSource4You, Software Engineer @ Astronomer, ] __github__ = Lee-W __linkedin__ = clleew __site__ = https://wei-lee.me $ cat weilee.py
140. File "weilee.py", line 1 __name__ = 李唯 / Wei Lee ^^^ SyntaxError: invalid syntax $ 𝜋 thon weilee.py
141. wei-lee.me
142. wei-lee.me Q & A 30
143. wei-lee.me
144. wei-lee.me 是英 文 不好，但不是因為英 文 不好
145. wei-lee.me
146. wei-lee.me 國際化跟在地化
147. wei-lee.me
148. wei-lee.me
149. wei-lee.me
150. wei-lee.me 參考資料 • 進擊的巨 人 • BanG Dream! It's MyGO!!!!! • BanG Dream! Ave Mujica • BLUE GIANT SUPREME藍 色 巨星 歐 洲篇 • 地。-關於地球的運動 • JOJO 的奇妙冒險 • 我推的孩 子 • 金 牌得主
151. wei-lee.me
152. wei-lee.me
153. wei-lee.me