Workflow

Workflow Oracle Cloud Hangout Café Season6 #3 Yutaka Ichikawa Oracle
Corporation Japan Solutions Architect Nov02, 2022

Copyright © 2022, Oracle and/or its affiliate 2 Proflie Name
• Yutaka Ichikawa/市川豊 Belong • Solutions Architect Role • Principal Cloud Solution Engineer SNS • Twitter/GitHub/Qiita:cyberblack28 Blog • https://cyberblack28.hatenablog.com/ Materials • https://speakerdeck.com/cyberblack28/ Community • Oracle Cloud Hangout Cafe #ochacafe • CloudNative Days Tokyo #cndt #o11y2022 Certified • Certified Kubernetes Administrator • Certified Kubernetes Application Developer • Certified Kubernetes Security Specialist • Kubernetes and Cloud Native Associate Publications New

1. ワークフローについて 2. アプリケーション開発におけるワークフロー 3. Argo Workflows Demo 4. 汎用的なワークフロー
5. Airflow Demo 6. 参考資料 7. Commercial Agenda

ワークフローについて

Copyright © 2022, Oracle and/or its affiliate 5 ワークフローについてワークフローとは？
申請や承認などの仕事やタスクのプロセスをフロー、図式化したもの。購入申請直属の上長承認経理部長承認総務部長承認注文例）会社で何かを購入してもらう場合この一連の流れが ”ワークフロー” 「誰が」、「いつ」、「どんな目的で」、「誰の責任で」、「何を購入したか」を見える化

Copyright © 2022, Oracle and/or its affiliate 6 ワークフローについてワークフロー導入による改善
• 業務プロセスの効率化による業務オペレーションのスピード向上 • 情報共有がスムーズとなり、不要な確認作業を削減 • 責任所在や全体管理の厳格化により、効率的で公正な業務運用が可能ある目的において、ワークフローの整備、ルール化することによって、効率的で公正な運用、目的達成を実現する

Copyright © 2022, Oracle and/or its affiliate 7 ワークフローについてワークフローシステムとは、業務やタスクの流れを自動化するシステム
O K O K 紙によるワークフロー O K 電子化によるワークフロー O K • どの申請書を使うべきかわからない • 申請書の作成に時間がかかる • 申請書を誰に回せばよいか分からない • 印刷・保管のコストがかかる • 書類作成・承認作業の負担軽減 • ワークフローの可視化 • ペーパーレスの促進 • 内部統制の強化などなど

アプリケーション開発におけるワークフロー

Copyright © 2022, Oracle and/or its affiliate 10 アプリケーション開発におけるワークフローアプリケーション開発におけるワークフローを考えてみる
ある目的において、ワークフローの整備、ルール化することによって、効率的で公正な運用、目的達成を実現するこの内容をアプリケーション開発に置き換えてみる • 効率的にテストを実施したい • 早く正確にサービスをリリースしたい • 安全にサービスをリリースしたい • 高い品質でサービスをリリースしたい • 開発体制、チーム、メンバー等が変わっても対応できる流れをつくりたい • 開発に集中したいある目的効率的で公正な運用、目的達成を実現多種多様

Copyright © 2022, Oracle and/or its affiliate 11 アプリケーション開発におけるワークフローアプリケーション開発におけるワークフロー、CI/CD
アプリケーション開発に必要となるビルド、テスト、成果物（アーティファクト）の保存までの工程を自動化して、継続的に行われる状態にすること CI（Continuous Integration/継続的インテグレーション） CI環境を整備することで、早期バグの発見による品質向上、検証時間の短縮によるリリーススピード向上、開発者が開発に集中できる環境でより良い開発サイクルを実現ソースコード更新アプリケーションビルドユニットテストコンテナイメージビルドコンテナイメージ脆弱性スキャンコンテナイメージレジストリ格納コンテナアプリケーション開発を仮例とした作業（ジョブorタスク）ワークフロー

CI（継続的インテグレーション）によって生み出された成果物（アーティファクト）を、実際の環境（ステージングやプロダクション）へ自動的に配置すること CD（Continuous Delivery/継続的デリバリー） CD環境を整備することで、エンドユーザに影響を与えることなく、高頻度、安全にアプリケーションのリリースを実現承認管理本番環境デプロイコンテナアプリケーション開発を仮例とした作業（ジョブorタスク）ワークフロー

CI（継続的インテグレーション）によって生み出された成果物（アーティファクト）を、実際の環境（ステージングやプロダクション）へ自動的に配置すること CD（Continuous Delivery/継続的デリバリー）アプリケーション開発に必要となるビルド、テスト、成果物（アーティファクト）の保存までの工程を自動化して、継続的に行われる状態にすること CI（Continuous Integration/継続的インテグレーション）より良いサービスを速く安全に提供できることにより、エンドユーザ様の満足度、企業競争力や収益の向上を実現する

Copyright © 2022, Oracle and/or its affiliate 14 アプリケーション開発におけるワークフロー主なツール/サービス
Circle CI Travis CI GitHub Actions GitLab Runner TEKTON AWS Code Pipeline Cloud Build Azure DevOps OCI DevOps

Kubernetes-nativeなCIツールTEKTON KubernetesのCustomResourceとしてパイプラインを定義できるため、マニフェストファイルの作成、適用(kubectl apply)の流れで、CI環境を構築。 2021年6月 #ochacafe 『CI/CD最新事情』でデモ交えて解説「git clone」「image build」「image push」それぞれをタスクとしてTEKTONパイプライン作成して、ワークフローを実行するデモを実施

GitHub Actions と ArgoCD を利用した GitOps デモ 2021年6月 #ochacafe 『CI/CD最新事情』でデモ交えて解説

GitHub Actions の CI 構成（ワークフロー）このワークフローを GitHub Actions の main.yml の記述を確認しながら、実際に Kubernetes クラスタにデプロイするまでのデモを実施。 2021年6月 #ochacafe 『CI/CD最新事情』でデモ交えて解説

Copyright © 2022, Oracle and/or its affiliate 18 アプリケーション開発におけるワークフロー Argo
Workflows Argo Workflows Argo CD Argo Rollouts Argo Events DAG と Step ベースのワークフローをサポートする Kubernetes ネイティブのワークフローエンジン。フルロードされた UI による宣言型の継続的デリバリー。 Canary や Blue-Green などの高度な Kubernetes デプロイ戦略を容易に実施。 Kubernetes のイベントベースの依存関係管理。 https://argoproj.github.io/ Argo Family

Workflows Argo Workflows とは？ Argo Workflows is an open source container-native workflow engine for orchestrating parallel jobs on Kubernetes. Argo Workflows is implemented as a Kubernetes CRD (Custom Resource Definition). Argo Workflows は、Kubernetes 上で並列ジョブを構成するオープンソースのコンテナネイティブワークフローエンジンです。 Argo Workflows は Kubernetes CRD (カスタムリソース定義) として実装されます。

Workflows ワークフローの定義を Kubernetes の CRD を利用して定義、実行可能アプリケーションを GitHub からクローンアプリケーションビルドコンテナイメージビルドコンテナイメージレジストリ格納 apiVersion: argoproj.io/v1alpha1 kind: WorkflowTemplate metadata: name: buildkit spec: arguments: parameters: - name: repo value: https://github.com/argoproj/argo-workflows - name: branch value: master - name: path value: test/e2e/images/argosay/v2 - name: image value: alexcollinsintuit/argosay:v2 entrypoint: main ・・・・例

Workflows Install Kubernetes クラスタに Argo Workflows をインストールする方法は、3タイプ 1. kubectl apply $ kubectl create namespace argo $ kubectl apply -n argo -f https://github.com/argoproj/argo-workflows/releases/download/v<<ARGO_WORKFLOWS_VERSION>>/install.yaml 2. Helm $ helm repo add argo https://argoproj.github.io/argo-helm $ helm install --create-namespace --namespace argo argo-workflows argo/argo-workflows Chart https://github.com/argoproj/argo-helm/tree/main/charts/argo-workflows 3. Kustomize https://github.com/argoproj/argo-workflows/blob/master/manifests/namespace-install/kustomization.yaml $ cat base/kustomization.yaml …

Workflows Install デフォルトでは、Namespace argo に Pod 2個、Service 1個 Namespace: argo Pod Service argo-workflows-server argo-workflows-workflow-controller argo-workflows-service Pod Replicas: 1 Deployment Port: 2746 port-forward/Service(NodePort/LoadBalancer)でアクセス可能 Web Access

Workflows CLI Install ワークフローの操作を argo コマンドで実行可能（Linux/Mac/Windows） Linux # Download the binary curl -sLO https://github.com/argoproj/argo-workflows/releases/download/v3.3.9/argo-linux-amd64.gz # Unzip gunzip argo-linux-amd64.gz # Make binary executable chmod +x argo-linux-amd64 # Move binary to path mv ./argo-linux-amd64 /usr/local/bin/argo # Test installation argo version Mac の場合は、linux の箇所を darwin に変更 Windows の場合は、 exeファイルをダウンロード https://github.com/argoproj/argo-workflows/releases/tag/v3.3.9

Workflows CLI Install argo-server の Pod でも argo コマンドは実行可能 $ kubectl exec -it argo-workflows-server-xxxxxxxxx-xxxxx -- argo auth token Bearer xxxxxxxxxxx… ※ベースイメージが scratch のため、argo コマンド以外はほぼ利用できない

Workflows containerRuntimeExecutor Argo Workflows では、Pod などの内部処理を実装された containerRuntimeExecutor で処理するバージョン3.3までは、emissary、docker、kubelet、k8sapi、pns という containerRuntimeExecutor があり、バージョン3.2までは docker がデフォルト、バージョン3.3以降から emissary がデフォルトとなり、emissary 以外は Deprecated Removed となるバージョン3.4以前では、ワークフローがうまくいかなかったり、Pod が正常に終わらないなどトラブルの際に executor を変更することで解決することがあった

Workflows UI • v3.0.0 以降から HTTPS で Listen がデフォルト • HTTP で Listen する場合は、argo-workflows-server の Pod の args に「--secure=false」追加または「ARGO_SECURE=false」の環境変数を設定、さらに readinessProbe を「scheme: HTTP」に変更 • Helm の場合は、デフォルトで「--secure=false」

Workflows UI Login • ログイン方式は、Server, Client, Single Sign-On の3タイプ • Server 認証方式は、UI の操作を argo-workflows-server の権限で実施する方式（v3以前はデフォルトの認証方式） • Client 認証方式は、UI の操作を特定のサービスアカウントで実施する方式（v3以降はこちらがデフォルトの認証方式） • Single Sign-On 認証方式は、外部に認証を任せて実施する方式

Workflows UI Login (Client) $ kubectl exec -it argo-workflows-server-xxxxxxxxx-xxxxx -- argo auth token Bearer eyJhbGciOiJSUzI1N… 「Bearer」+「Token」を入力してログインボタン

Workflows Workflow 書き方 Argo Workflows では、各処理を template という概念で管理、 name で指定するのが template 名 spec.entrypoint は必須項目、どの処理（tempate）から開始するかを指定ワークフローの流れは、 steps として記述（DAG 形式も可） steps の内容は、上から書いた順に実行される「- 」を2つ記述して、配列をネストさせる必要があり、これにより、複数処理を並列に実行できる処理の詳細は、template に記述、左例は steps 内から「name: whalesay」を参照 sample-workflows.yaml

Workflows Workflow 書き方 $ kubectl create -f sample-workflows.yaml workflow.argoproj.io/steps-bnnn8 created マニフェストを展開 Podのログ確認

Workflows Workflow 書き方並列処理 sample-workflows-parallel.yaml 並列実行処理の記述

Workflows ワークフローの書き方 DAGとは？ Directed Acyclic Graph = 有向非巡回グラフ（ゆうこうひじゅんかいぐらふ）有向非巡回グラフ、有向非循環グラフ、有向無閉路グラフ（ゆうこうひじゅんかいグラフ、英: Directed acyclic graph, DAG）とは、グラフ理論における閉路のない有向グラフのことである。有向グラフは頂点と有向辺（方向を示す矢印付きの辺）からなり、辺は頂点同士をつなぐが、ある頂点vから出発し、辺をたどり、頂点vに戻ってこないのが有向非巡回グラフである Wikipedia（https://bit.ly/3erf4qg）順序付けする必要があるタスクの集合図 A B C A B C A 一方向のみ前方向に流れる DAG またAに戻る巡回する実行順序 Not DAG

Workflows Workflow 書き方 DAG sample-workflows-dag.yaml 先行タスクとして、A を指定しているため、並列実行 DAG形式の記述、dependencies で先行 task を指定可能

Workflows Workflow 書き方パラメータ Parameters 定義は、 steps 内で template を呼び出す時と呼び出される template 側の両方で定義する必要がある sample-workflows.yaml 呼び出す側 arguments として定義呼び出される側 inputs として定義

Workflows Workflow 書き方パラメータ inputs.parameters の定義にデフォルト値の設定が可能この場合、 steps の arguments が省略可能となり、hello1 が args となる sample-workflows.yaml 呼び出す、 arguments で違う値を定義した場合は、呼び出される inputs で定義したデフォルト値は、上書きされる

Workflows Workflow 書き方処理済みのワークフロー削除 sample-workflows.yaml 処理が完了（成功/失敗）したワークフロー（Completed Pod）を自動で削除する定義パラメータ内容 secondsAfterCompletion 完了後に存続する秒数 secondsAfterSuccess 成功後に存続する秒数 secondsAfterFailure 失敗後に存続する秒数 ※ secondsAfterCompletion は、Succeess/Failure 以外の場合 ttlStrategy この設定をすることで、完了したPodで溢れることを回避

Workflows Workflow 書き方スクリプト Script Templatesと各言語の実行環境となるコンテナイメージを指定することによってスクリプトも実行可能 script-workflows.yaml

Workflows Workflow 書き方 Kubernetes リソース resource-workflows.yaml ワークフローを処理において、 Kubernetes のリソース作成も可能 • serviceAccountName が無い場合は、 namespace 内の default の権限で実行 • serviceAccountName を設定することを推奨 Log

Workflows Workflow 書き方リトライ1 retry-workflows.yaml retryStrategy • 処理失敗時の自動リトライ定義 • リトライ回数を limit で指定 • 上記例では、本実行と5回のリトライ、合わせて6回 • 最初の実行は、0番目

Workflows Workflow 書き方リトライ2 retry-advance-workflows.yaml retryStrategy • backoff を利用して、リトライ間隔、リトライ時間を指定可能 • 上記の例では、duration 10秒待つ,20秒待つ,40秒待つ...（factor で何倍するのかを指定） • maxDuration が “1m” 1分（60秒）なので、limitで5回でも2回のリトライで終了

Workflows Workflow 書き方処理の継続 continue-workflows.yaml • step に continueOn を設定することで、処理に失敗してもリトライせずフローを進める • 失敗したフローがあっても、ワークフロー全体としては成功となる C の処理が失敗しても D の処理が実行される

Workflows Workflow 書き方サスペンド処理/ディレイ処理 suspend-workflows.yaml • suspend は、処理の途中で止めて、確認後、処理を継続する場合に使用 • 処理を継続する場合 UI では RESUME ボタン CLIの場合、$ argo resume <ワークフロー名> suspend delay UI CLI “$ argo resume” • 処理の途中で止めて、一定時間過ぎたら処理の継続を指定可能 UI CLI “$ argo resume” 20秒後処理が継続される指定時間内であれば、RESUMEで処理も可能

Workflows Workflow 書き方外部リソースの取得 artifact-workflows.yaml • GitHub や S3 からアプリケーションソースをコンテナ内部に取得可能 • http も可能で、 GitHub からバイナリをダウンロードして配置も可能 inputs.artifacts

Workflows Workflow 書き方ファイルの受け渡しワークフローの処理間でファイルの共有をボリュームを mount して行う volumeClaimTemplates volume を定義、クラスタ上に PVC と PV が作成される各処理で mount 可能、ワークフローを消すと volume も消える

Workflows Workflow 書き方ファイルの受け渡し S3 互換のオブジェクトストレージを利用することも可能 artifact artifact を ConfigMap で定義 artifact-repo-cm.yaml minio-workflows.yaml Workflow から ConfigMap を参照

Workflows Workflow 書き方ファイルの受け渡し steps に artifacts を設定するクラスタ内の MinIO に格納される MinIO は s3 互換のオブジェクトストレージサーバ (OSS) https://github.com/minio/minio minio-workflows.yaml

Workflows Workflow 書き方テンプレート • ワークフローテンプレートを利用することで、ワークフロー自体をテンプレート化して、効率的に管理 • YAML ファイルとしては、spec の内容が「kind: Workflow」と同じであるため、「kind: WorkflowTemplate」にリネームして利用可能 • templateRef として、ワークフロー側から呼び出すことが可能 Workflow Workflow Template テンプレート呼び出し

Workflows Workflow 書き方テンプレート $ kubectl create -f workflow-template.yaml $ kubectl create -f workflow-template-o.yaml WorkflowTemplate として登録テンプレートを呼び出して、ワークフローを実行

Argo Workflows Demo

Copyright © 2022, Oracle and/or its affiliate 50 Argo Workflows
Demo GitHub + OKE + DockerHub Namespace: argo Namespace: default PVC PV argo-workflows-server argo-workflows-workflow-controller buildkit-workflows-xxxxx-clone buildkit-workflows-xxxxx-build buildkit-workflows-xxxxx-image OKE git clone docker image build docker image push ① ② ③ go build Secret docker-config /work buildkit-workflows-work-xxxxx UI $ kubectl create -f dev-workflows.yaml CLI GitHub DockerHub $ kubectl create secret generic docker-config --from- literal="config.json={¥"auths¥": {¥"https://index.docker.io/v1/¥": {¥"auth¥": ¥"$(echo -n <repo-name>:<your-token>|base64)¥"}}}" 1 2 volumeClaimTemplates を利用して、git clone したソースを /work で共有 DockerHub の認証情報を Secret にする

Demo ワークフロー解説 buildkit-workflows.yaml パラメータ設定リポジトリ URL ブランチビルドする go ファイルのパス DockerHub のリポジトリ名とタグ

Demo ワークフロー解説 buildkit-workflows.yaml ボリューム設定タスク設定パラメータで指定した GitHub のリポジトリ /ブランチからソースコードをクローン処理サンプルアプリケーションの go ファイルのビルド処理 Dockerfile からコンテナイメージビルド処理と DockerHub へのプッシュ処理 Clone Build Image 各処理で受け渡すソースコードを共有する work ディレクトリ

Demo ワークフロー解説 buildkit-workflows.yaml クローン処理 Alpine の git コマンドを利用できるイメージから work ディレクトリをマウント、そこにソースコードをクローンパラメータで指定したリポジトリとブランチに対して git clone コマンドを実行

Demo ワークフロー解説 buildkit-workflows.yaml アプリケーションビルド処理 go のビルドイメージから work ディレクトリをマウント、作業ディレクトリをパラメータで指定したパスで go のビルドを実行 go のビルド実行

Demo ワークフロー解説 buildkit-workflows.yaml イメージビルドとイメージプッシュ処理 DockerHub の認証情報がある Secret を参照 buildctl-daemonless.sh のスクリプトを実行して、Dockerfile からイメージビルド処理とイメージプッシュ処理を実行 Buildkit イメージから work ディレクトリをマウント、作業ディレクトリをパラメータで指定したパスにする、 .docker としてマウントする

汎用的なワークフロー

Copyright © 2022, Oracle and/or its affiliate 57 汎用的なワークフロー Apache
Airflow https://airflow.apache.org/ • オープンソースのワークフロー管理プラットフォーム • 2014年に Airbnb 社が開発した OSS であり、2016年から Apache Software Foundation のプロジェクト • Python と DAG ベースにワークフローを表現

Airflow Principles • Airflow パイプラインは Python で定義され、動的なパイプライン生成が可能 • パイプラインを動的にインスタンス化するコードを記述できる • Airflow にはモジュラーアーキテクチャがあり、メッセージキューを使用して任意数のワーカーを調整 • Airflow は無限にスケーリングを準備 • 独自の演算子を簡単に定義し、ライブラリを拡張して、環境に適した抽象化のレベルに合わせられる • Airflow パイプラインは無駄がなく明示的。 • パラメータ化は、強力な Jinja テンプレートエンジンを使用してコアに組み込まれる

Airflow Features • 堅牢で最新の Web アプリケーションを介して、ワークフローを監視、スケジュールおよび管理 • 完了したタスクと進行中のタスクのステータスとログを常に完全に把握できる。 • 標準の Python 機能を使用してワークフローを作成 • ワークフローを構築における柔軟性を維持 • Airflow は、多くのサードパーティサービスでタスクを実行可能 • 多くのプラグアンドプレイオペレーターを提供 • Python の知識があれば誰でもワークフローをデプロイ可能 • Airflow は、パイプラインの範囲を制限せずに、ML モデルの構築、データの転送、インフラストラクチャの管理など可能

Airflow のマネージドサービス https://www.astronomer.io/ https://aws.amazon.com/jp/managed-workflows-for-apache-airflow/ Amazon Managed Workflows for Apache Airflow https://cloud.google.com/composer/docs/concepts/overview?hl=ja Cloud Composer Astronomer 柔軟で容易なリソース管理、耐障害性、クラウドサービスとの連携など、マネージドサービスならではのメリットを生かして運用を効率化

Airflow Install https://airflow.apache.org/docs/apache-airflow/stable/installation/index.html デモ環境では、Helm を利用して Kubernetes クラスタにインストール

Airflow Install helm repo add apache-airflow https://airflow.apache.org helm repo update helm install airflow apache-airflow/airflow --create-namespace --namespace airflow 公式の Helm リポジトリを追加リポジトリのアップデート airflow のインストール

Airflow Install kubectl edit service/airflow-webserver -n airflow kubectl get service/aiflow-webserver -n airflow NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE airflow-webserver LoadBalancer 10.96.110.188 144.xxx.xxx.xxx 8080:31703/TCP 12m UI アクセスのために、Service airflow-webserver を type: LoadBalancer に変更 EXTERNAL-IP を確認 http://EXTERNAL-IP:8080 にアクセス

Airflow Install Default Username : admin Default Password : admin

Airflow Install

Airflow Install デフォルトでは、Namespace airflow に Pod 7個、Service 7個 Pod Service Namespace: airflow Service Port: 8080 port-forward/Service(NodePort/LoadBalancer)でアクセス可能 Pod airflow-webserver Web Access Pod Pod Pod Pod Pod Pod Service Service Service Service Service Service

Airflow Install Pod 名概要 airflow-scheduler DAG 実行と DAG からの個々のタスクのスケジューリングを制御 airflow-worker DAG の個々のタスクを、Redis キューから取得して実行 airflow-postgresql Scheduler、Worker、Webserver の状態を保存 airflow-statsd Airflow のメトリック情報を取得 airflow-triggerer Deferrable Operators という worker を効率的に利用できる Operator を管理 airflow-redis DAG の個々のタスクのキューを保持 airflow-webserver Web UI の提供コンポーネント概要

Airflow Install コンポーネント概要 Metadata Database Queue Worker Webserver Scheduler Executor DAGs Airflow cfg

Airflow Install サンプルワークフローの有効化 helm show values apache-airflow/airflow > values.yaml vim values.yaml values.yaml ファイルを書き出し values.yaml の編集 values.ymal を変更して upgrade することで有効化可能・・＜省略＞・ extraEnv: | - name: AIRFLOW__CORE__LOAD_EXAMPLES value: 'True' ・・＜省略＞・

Airflow Install サンプルワークフローの有効化 helm upgrade --install airflow apache-airflow/airflow -n airflow -f values.yaml values.yaml を適用 UI の DAGs に表示される

Airflow Demo

Copyright © 2022, Oracle and/or its affiliate 72 Airflow Demo
公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ ['/bin/bash', '-c', 'date'] ['/bin/bash', '-c', 'sleep 5'] ['/bin/bash', '-c', '¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n'] ① ② ③

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶリストから、 tutorial を選択上部メニュー Graph を選択タスクと依存関係が表示

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ上部メニュー Code を選択 Python Code で定義されたワークフローが表示

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ必要なライブラリをインポートワークフロー全体のオブジェクトパラメータを指定

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ BashOperator: Bash シェルコマンドを実行できる Date コマンドを実行して、時刻表示 sleep 5 を実行して 5秒待つ

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ Airflow の jinja テンプレートを利用して実装したスクリプトを呼び出す for : 5回 ds : 実行する日付 macros.ds_add (ds, 7) : 実行する日付の7日後 t1 を実行してから t2 t3 を実行

公式チュートリアル公式チュートリアルのコードを見ながら、Airflow を学ぶ .doc or Markdown 形式で DAG とタスクにドキュメントを設定できる

公式チュートリアルワークフローを手動実行、ログ確認 [2022-10-21, 15:48:14 JST] {subprocess.py:75} INFO - Running command: ['/bin/bash', '-c', 'date'] [2022-10-21, 15:48:14 JST] {subprocess.py:86} INFO - Output: [2022-10-21, 15:48:14 JST] {subprocess.py:93} INFO - Fri Oct 21 06:48:14 UTC 2022 [2022-10-21, 15:48:14 JST] {subprocess.py:97} INFO - Command exited with return code 0 print_date [2022-10-21, 15:48:18 JST] {subprocess.py:75} INFO - Running command: ['/bin/bash', '-c', 'sleep 5'] [2022-10-21, 15:48:18 JST] {subprocess.py:86} INFO - Output: [2022-10-21, 15:48:23 JST] {subprocess.py:97} INFO - Command exited with return code 0 sleep

公式チュートリアルワークフローを手動実行、ログ確認 [2022-10-21, 15:48:18 JST] {subprocess.py:75} INFO - Running command: ['/bin/bash', '-c', '¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n¥n echo "2022-10-21"¥n echo "2022-10- 28"¥n¥n echo "2022-10-21"¥n echo "2022-10-28"¥n'] [2022-10-21, 15:48:18 JST] {subprocess.py:86} INFO - Output: [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-21 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-28 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-21 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-28 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-21 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-28 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-21 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-28 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-21 [2022-10-21, 15:48:18 JST] {subprocess.py:93} INFO - 2022-10-28 templated 1 2 3 4 5 ds : 実行する日付 macros.ds_add (ds, 7) : 実行する日付の7日後 for: 5回

参考資料

Copyright © 2022, Oracle and/or its affiliate 83 参考資料 Oracle
Cloud Hangout Café Season4 #3 『CI/CD 最新事情』動画: https://www.youtube.com/watch?v=K62nFSvHo60 資料: https://speakerdeck.com/oracle4engineer/oracle-cloud-hangout-cafe-cicdzui-xin-shi-qing 使いこなせ！Argo Workflows 動画: https://event.cloudnativedays.jp/cndt2021/talks/1272 資料: https://speakerdeck.com/makocchi/how-to-use-argo-workflows Argo Workflows Documentation https://argoproj.github.io/argo-workflows/ Airflow Documentation https://airflow.apache.org/docs/ デモ環境等の資材 https://github.com/oracle-japan/ochacafe-s6-3

Copyright © 2022, Oracle and/or its affiliate 84 参考資料 Airflow
: Tutorial を使って Python で実装された DAG の基礎を学ぶ https://kakakakakku.hatenablog.com/entry/2022/03/07/075039 Apache Airflow Tutorial https://hackmd.io/@woodythewip/S1isd2QaI Hands-On Guide to Argo Workflows on Kubernetes https://www.udemy.com/course/hands-on-guide-to-argo-workflows-on-kubernetes/ The Complete Hands-On Introduction to Apache Airflow https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/

Commercial

Copyright © 2022, Oracle and/or its affiliate 86 OCI Workflow
開発者およびアーキテクト向けのグラフィカルなフロー・デザイナーを備えたサーバーレス・ワークフローエンジン ▪ ユースケース OCIの各サービスとのオーケストレーションとそれに伴うタスク処理の自動化例:インフラストラクチャのプロビジョニング、移行、およびパッチ適用の自動化、機械学習モデルのトレーニングタスク処理の自動化など ▪ 特徴 • OCI サービスとのオーケストレーション • スケジュールおよびイベントドリブンにワークフローをトリガー • ビジュアルデザインによるワークフローの作成と監視 • 組み込み済みのフロー制御 • 組み込み済みのリトライ・ロジックと拡張可能なエラー処理 • コンテキストとデータの管理 • ワークフローのバージョン管理 ▪ 価格 2022年10月時点では、β版のためLimited Availability（制限付き利用）プログラムを通じて利用可能 OCI Workflow OCI Cloud Native Services OCI Database Services OCI Network Services OCI Storage Services OCI AI/ML Services OCI IaaS Services OCI Workflow Visual Example https://www.oracle.com/cloud/cloud-native/workflow/

Copyright © 2022, Oracle and/or its affiliate 88 https://go.oracle.com/LP=131162 2022/11/18
(金) 15:30-18:00 オンライン Oracle Cloud Infrastructure (OCI) のサービスである OCI DevOps を利用して、ソースコードの変更をトリガーに、コンテナイメージのビルドからKubernetes クラスタへアプリケーション（サンプル）をデプロイする CI/CD パイプライン環境を構築するハンズオンを実施します。コンテナアプリケーション開発における CI/CD の一歩を一緒に踏み出しましょう。

Copyright © 2022, Oracle and/or its affiliate 89 https://www.jasa.or.jp/expo/ 11.18(金)
12:00-13:30 | アネックスホール F201 TS3-02 『What is Cloud Native ? 2022』日本オラクル（株）ソリューション・アーキテクト本部プリンシパルクラウドソリューションエンジニア市川豊

Workflow

Workflow

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript