Airflow の Variable に格納し、次回に WHERE 句で期間を絞り込む バッチ1: 差分更新で歯抜けになるレコード問題(1/3) id name ... updated_at 1 A 2020-10-01 ... N-1 Y 2020-10-31 N Z 2020-11-01 id name ... updated_at 1 A 2020-10-01 ... N-1 Y 2020-10-31 id name ... updated_at N Z 2020-11-01 schedule w/ “2020-10-31” SELECT … WHERE update_date >= “2020-10-31” +
が死んでると、 DAG 失敗時の調査やリトライが困難 - ^ cli でもできるがやりにくい。ワークフロー管理とは??? - このエラー 1000 回くらい見た。 30 sec 後に復旧した経験はない ... バッチ2: Cloud Composer の WebUI が停止(2/3) Error: Server Error The server encountered a temporary error and could not complete your request. Please try again in 30 seconds.