第130回雲勉【オンライン】Step Functions を使ってS3のファイルを操作してみよう

Slide 1

Slide 1 text

第130回雲勉【オンライン】 Step Functions を使ってS3のファイルを操作してみよう

Slide 2

Slide 2 text

０．⾃⼰紹介 2 ■ 徳井雄介 (Tokui Yusuke) ■ CI事業部 CSMセクション所属 ■ 2021年10月入社 ■ 前職：PHPでWebサービス開発 ■ 好きなAWSのサービス ■ Step Functions ■ Lambda

Slide 3

Slide 3 text

アジェンダ 3 0.⾃⼰紹介 1. Step Functions とは 2. 活⽤例 3. ASLの書き⽅について 4. Step Functionsを動かしてみる 5. まとめ

Slide 4

Slide 4 text

4 1. Step Functions とは

Slide 5

Slide 5 text

Step Functions とは 5 サーバーレスオーケストレーションサービス AWSのマネージドサービスで、サーバーの管理なしでワークフローを定義実行できる ○ 様々なAWSサービスを呼び出せる ○ ワークフローをGUIで作成できる ○ 条件分岐などの考慮したワークフローを作成できる Step Functions

Slide 6

Slide 6 text

Step Functions とは 6 ワークフロー（ステートマシーン）の具体例自販機入金商品選択商品排出お釣り返却入金されるまでは待機金額を次のフローに渡す金額が足りているか金額

Slide 7

Slide 7 text

Step Functions とは 7 ワークフロー（ステートマシーン）の具体例自販機入金商品選択商品排出お釣り返却商品選択されるまでは待機選択した商品と金額を次のフローに渡す金額が足りているか商品金額

Slide 8

Slide 8 text

Step Functions とは 8 ワークフロー（ステートマシーン）の具体例自販機入金商品選択商品排出お釣り返却金額が足りているか確認して次のフローを選択もしくは金額が足りるまで待機（xx秒後に返金）金額が足りているか商品金額

Slide 9

Slide 9 text

Step Functions とは 9 ワークフロー（ステートマシーン）の具体例自販機入金商品選択商品排出お釣り返却商品排出とお釣り返却を行う金額が足りているか

Slide 10

Slide 10 text

Step Functions とは 10 • ビジュアルエディタでワークフローを作成 • ドラッグアンドドロップで操作 • 非技術者でも簡単に設定可能 • 各ステップごとの処理を定義 • ASLの自動生成 Workflow Studio

Slide 11

Slide 11 text

Step Functions とは 11 • ステートマシンは JSON ベースの Amazon States Language (ASL) で定義する • 状態（Type）の一例 ○ Task（単一の作業単位） ○ Choice（分岐） ○ Wait（待機） ○ Parallel（並行処理） ○ Succeed（成功） ○ Fail（失敗） Amazon States Language (ASL) { ・・ "States": { "State1": { "Type": "Task", "Resource": "xxx", "Next": "State2" }, ・・ }

Slide 12

Slide 12 text

Step Functions とは 12 分岐 Start End State1 State2 State4 State3 条件によって、フローを変更したいパラメータの値などで条件分岐してフローを選択例）ユーザー登録ユーザーが新しいアカウントを作成するユーザーが「個人」「法人」で処理を分岐

Slide 13

Slide 13 text

Step Functions とは 13 並列 Start End State1 State2 特定の処理を同時に実行したい例）注文処理顧客が注文を確定すると、並列ステップで・在庫確認・支払い処理・配送準備などのタスクが同時に実行される

Slide 14

Slide 14 text

Step Functions とは 14 繰り返し Start End State1 State3 State2 特定の処理が終わるまで繰り返し処理を行う例）月次レポート作成月初から月末まで、繰り返して日次のデータを取得し、レポート生成プロセスを繰り返し実行

Slide 15

Slide 15 text

Step Functions とは 15 https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/connect-supported-services.html サポートされているサービス

Slide 16

Slide 16 text

Step Functions とは 16 サポートされているサービスのユースケース一例 Lambda ワークフローにLambda関数を組み込む EC2 EC2インスタンスを起動、停止など、EC2の管理をサポート S3 ファイルのアップロード、ダウンロード、処理など、S3の操作をサポート

Slide 17

Slide 17 text

Step Functions とは 17 コストについてリソースの効率的な利用 ● 不必要な実行を避ける ● 必要な時に必要なものを動かすスケーラビリティの向上と変更が容易 ● 必要に応じてタスクを追加できる ● 容易にワークフローを変更できる実行時間・実行数で料金がかかるサーバーレス ● インフラストラクチャの管理コストを削減

Slide 18

Slide 18 text

Step Functionsとは？ 18 ● ワークフローを定義し、各ステップの状態を直感的に管理できる ● 処理の進行状況の追跡が容易になる ● 可読性と保守性の向上（デバッグの効率化）状態管理・監視とデバッグリトライやエラーハンドリング ● 各ステップの失敗、タイムアウトなどのイベントを監視できる ● エラーハンドリングやリトライのロジックを統合的に管理できる ● アプリケーションの信頼性と耐障害性を向上できる Step Functionsのメリット

Slide 19

Slide 19 text

19 2. 活用例

Slide 20

Slide 20 text

活用例 20 1. S3のファイル検索 2. S3(Glacier)のアーカイブファイルの復元 3. S3(お客様用)ファイルのコピー

Slide 21

Slide 21 text

活用例 21 ● S3ストレージサービスの1つ ● アーカイブデータを保存するためのもの ○ 低コスト ○ 耐久性 ○ セキュリティ S3 Glacier とは ※ S3 Glacier復元通知というものがあります... ● S3 Glacier からの復元の開始 ● S3 Glacier からの復元の完了今回こちらはあえて使いません。

Slide 22

Slide 22 text

活用例 22 S3 Glacierのファイルの復元 ● 迅速：1〜5分 ● 標準：3〜5時間 1つのLambda だけで対応する場合 Lambdaの制限（15分）に引っかかる

Slide 23

Slide 23 text

活用例 23 Step Functionsを使用する ● 復元が完了するまで繰り返し処理を行う ● 復元が完了しているか確認するフローを入れる ● 復元が完了していたらファイルコピー Lambda の15分制限をクリアするために

Slide 24

Slide 24 text

24 3. ASLの書き方

Slide 25

Slide 25 text

ASLの書き方について 25 Workflow Studio

Slide 26

Slide 26 text

ASLの書き方について 26 ● SearchContent ○ ファイルの検索 ● RestoreContent ○ ファイルの復元 ● WaitRestoration ○ 復元待機 ● ChoiceState ○ 復元できているか ● CopyContent ○ ファイルコピー

Slide 27

Slide 27 text

ASLの書き方について① 27 ● SearchContent ○ ファイルの検索 ● RestoreContent ○ ファイルの復元 ● WaitRestoration ○ 復元待機 ● ChoiceState ○ 復元できているか ● CopyContent ○ ファイルコピー

Slide 28

Slide 28 text

28 ASLの書き方について① { "StartAt": "SearchContent", "States": { "SearchContent": { "Type": "Task", "Resource": "xxx", "Parameters": { "type": "search", }, "Next": "RestoreContent" }, ステートマシンの開始地点ステートマシン内のステートを定義 ● Type：ステートの種類 ● Resource：リソースのARN ● Parameters：パラメータ次のステートを指定

Slide 29

Slide 29 text

ASLの書き方について② 29 ● SearchContent ○ ファイルの検索 ● RestoreContent ○ ファイルの復元 ● WaitRestoration ○ 復元待機 ● ChoiceState ○ 復元できているか ● CopyContent ○ ファイルコピー

Slide 30

Slide 30 text

30 ASLの書き方について② "ChoiceState": { "Type": "Choice", "Choices": [ { "Variable": "$.condition", "BooleanEquals": false, "Next": "WaitRestoration" }, { "Variable": "$.condition", "BooleanEquals": true, "Next": "CopyContent" } … 選択状態条件に応じて次のステートを定義 ● $.condition が false ○ WaitRestoration へ ● $.condition が true ○ CopyContent へ

Slide 31

Slide 31 text

ASLの書き方について③ 31 ● SearchContent ○ ファイルの検索 ● RestoreContent ○ ファイルの復元 ● WaitRestoration ○ 復元待機 ● ChoiceState ○ 復元できているか ● CopyContent ○ ファイルコピー

Slide 32

Slide 32 text

32 ASLの書き方について③ "CopyContent": { "Type": "Task", "Resource": "xxx", "Parameters": { "type": "copy", }, "End": true } ステートが実行された後に、ステートマシンが終了するかどうかを指定「true」を指定すると、ステートマシンが終了

Slide 33

Slide 33 text

33 4. Step Functionsを動かしてみる

Slide 34

Slide 34 text

34 Step Functionsを動かしてみる

Slide 35

Slide 35 text

35 Step Functionsを動かしてみる編集

Slide 36

Slide 36 text

36 Step Functionsを動かしてみる

Slide 37

Slide 37 text

37 Step Functionsを動かしてみるアクション

Slide 38

Slide 38 text

38 Step Functionsを動かしてみるトリガーで動かすことが多いが、 AWSコンソール上からも実行できる

Slide 39

Slide 39 text

Step Functionsを動かしてみる 39 トリガー Lambda Lambda にトリガーを設定し、Lambda から Step Functions を呼び出す S3 S3 バケットに新しいオブジェクトが作成されると、イベントがトリガー API Gateway RESTful API エンドポイントを使用して Step Functions をトリガー Cloudwatch Events AWS リソースの状態変更やスケジュールされたイベントなど、さまざまなイベントの監視に応じて Step Functions をトリガー

Slide 40

Slide 40 text

40 Step Functionsを動かしてみる実行を開始（コンソールから手動で）入力値をjsonで記載できる

Slide 41

Slide 41 text

41 Step Functionsを動かしてみる進行中・失敗・成功などステートの状態が可視化される現在どこの処理を行っているのか明確になるエラーになった場合、どこでエラーになったかわかる実行中

Slide 42

Slide 42 text

42 Step Functionsを動かしてみる

Slide 43

Slide 43 text

43 Step Functionsを動かしてみる実行したLambdaのコンソールへ CloudWatchログへ ● output ○ 実行結果として出力される情報 ● outputDetail ○ 出力の詳細情報を含むオブジェクト ■ ※出力が切り捨てられた場合はtrue

Slide 44

Slide 44 text

44 5. まとめ

Slide 45

Slide 45 text

まとめ 45 ● サーバーの管理なしでワークフローを定義実行できる ● Workflow Studio（GUI）でワークフローを定義できる ● ASLでワークフローを定義できる ● エラーハンドリング / 監視・デバッグが容易にできる ● Lambda の実行が15分を超える可能性が出てきた時の対策になる