PyConJP2019チュートリアル Lambda(Python)を利用したサーバーレスのハンズオン

Slide 1

Slide 1 text

PyCon JP 2019 Tutorial Lambda(Python)を使用したサーバーレスのハンズオン 1

Slide 2

Slide 2 text

本日はよろしくお願いいたします 2

Slide 3

Slide 3 text

WiFi こちらのWiFiをお使いください 3

Slide 4

Slide 4 text

講師およびチュータの紹介 ● 阿部信介 ○ CX事業本部エンジニアチームオーガナイザー兼プロダクトマネージャ ○ メイン講師担当 ● 夏目祐樹(ゆうた) ○ CX事業本部サーバーサイドエンジニア ○ チュータ担当 ● 藤井元貴 ○ CX事業本部サーバーサイドエンジニア ○ チュータ担当 ● 加藤諒 ○ CX事業本部サーバーサイドエンジニア ○ チュータ担当 4

Slide 5

Slide 5 text

クラスメソッドについて Developers.IOを運営している会社です。 5

Slide 6

Slide 6 text

クラスメソッドについて(事業目線) ● AWSに関するあらゆる支援がメインの事業です ○ アカウントリセール ○ オンプレからクラウドへのマイグレーション ○ AWS上でのシステム構築 ○ データ分析基盤の構築 ○ etc ● カフェを運営しています ○ 完全キャッシュレス/ウォークスルー決済 ○ 技術的な実験を行うための店舗 6

Slide 7

Slide 7 text

クラスメソッドについて(働く人目線) ● 働きやすさを支える各種制度があります ○ フレックスタイム ○ リモートワーク ○ 男性社員も積極的にとる育休 ● 技術が好きなエンジニアが集まっています ○ AWSの新サービスを積極的に試してブログにアウトプット ○ 試したことを活用する機会も多数 ○ 技術に関する雑談も活発 ○ フットワーク軽く試せるように AWSのアカウントなど支援あり ● 拠点は採用によって増えます ○ 東京/大阪/札幌/福岡/上越/沖縄/岡山/ベルリン/バンクーバー ○ ３人以上採用できればオフィスができます 7

Slide 8

Slide 8 text

会社説明会を開催しています 9/19(木)CX事業本部フォーカスの会社説明会を行います。今回のチュートリアルでサーバーレスが気になった方、ぜひご検討ください。 8

Slide 9

Slide 9 text

免責事項 ● 本日のカリキュラムの内容は、現時点でのAWSのサービス仕様にのっとって構成されています。今後、AWSのサービス仕様が変更になってもこの内容が保証される訳ではありませんのでご注意ください。 ● Pythonの言語仕様に対する深い質問については答えられない可能性があります。その代わり、今回利用するAWSのサービスとサーバーレスについてはお任せください。 9

Slide 10

Slide 10 text

本日のタイムテーブル ● 13:00〜13:20 はじめに ● 13:20〜14:00 Lambdaについての説明 ● 14:00〜14:10 休憩 ● 14:10〜14:50 Lambdaを始める(ハンズオン1) ● 14:50〜15:00 休憩 ● 15:00〜16:00 サーバーレスアーキテクチャとLambdaの位置付け ● 16:00〜16:10 休憩 ● 16:10〜18:20 サーバーレスアプリケーションを作ってみる(ハンズオン2) ● 18:20〜19:00 クロージング 10

Slide 11

Slide 11 text

本日のチュートリアルのゴール 1. AWS上で構築するサーバーレスアプリケーションの基本構成について知る 2. Lambdaの利用に十分な構成について知る 3. AWSの基本的なマネージドサービスを使って、サーバーレスなAPIを構築する手順を知る 11

Slide 12

Slide 12 text

Lambdaについての説明 12

Slide 13

Slide 13 text

AWS Lambdaとは ● FaaS(Function as a Service)の一つ ● AWS上のカテゴリーは「コンピューティング」 ● マネージされたコード実行環境を提供 AWS Lambda 13

Slide 14

Slide 14 text

AWS Lambdaの基本的な機能 ● 共有されたステートレスな実行環境 ● AWSの各種サービスとの連携(INPUT/OUTPUT) ● 耐障害性の高いリージョンサービス(VPC Lambdaもある) ● 柔軟なスケーリング ● 関数のバージョニング ● CloudWatchによる監視 ● StepFunctionsによる関数間オーケストレーション ● Lambda Layerによる共通コンポーネントの管理 AWS Lambda 14

Slide 15

Slide 15 text

AWS Lambdaで利用可能な言語について ● Python ● Node.js ● Go ● PowerShell ● Java ● C# ● Ruby ● カスタムランタイムで任意の言語も使用することが可能 AWS Lambda 15

Slide 16

Slide 16 text

AWS Lambdaの利点 ● コンピューティングリソースの有効活用 ○ アイドルタイムに課金されない ○ 実行環境はAWSによってメンテナンスされるので、管理コストも最適化できる ● アプリケーションコードのスケーラビリティ ○ 冪等性は必要 ○ 事前のリソースプロビジョニングが不要になる (基本) ● AWSの各サービスとの親和性 ○ イベントドリブンによる自動化やサーバーレス化に取り組みやすい AWS Lambda 16

Slide 17

Slide 17 text

AWS Lambdaの制約 ● 公式ドキュメント ○ 同時実行数 1000 ○ 関数とレイヤーストレージ 75GB ○ 関数のメモリ 128MB〜3008MB ○ 関数タイムアウト 15分 ○ デプロイパッケージサイズ 50MB ● 実行環境は基本共有されないプログラミングモデル ○ スタンバイしてる環境を引き当てることもある ○ ガチャなので、それを引くことを期待する作りにはしない AWS Lambda 17

Slide 18

Slide 18 text

AWS Lambda Functionの実行ライフサイクル 1. ENIの作成 2. コンテナの作成 3. デプロイパッケージのロード 4. デプロイパッケージの展開 5. ランタイム起動・初期化 6. 関数/メソッドの実行(コンピューティングの課金対象) 7. コンテナの破棄 AWS Lambda 出典：https://www.slideshare.net/AmazonWebServicesJapan/20190402-aws-black-belt-online-seminar-lets-dive-deep-into-aws-lambda-part1-part2 18

Slide 19

Slide 19 text

コールドスタートとウォームスタート ● ライフサイクルの1から全て実施するのがコールドスタート ● コンテナを再利用して実行されるのがウォームスタート ● 利用可能なコンテナがない場合はコールドスタートになる ○ コードや設定を変更した場合もコンテナは利用できなくなる出典：https://www.slideshare.net/AmazonWebServicesJapan/20190402-aws-black-belt-online-seminar-lets-dive-deep-into-aws-lambda-part1-part2 19

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Lambdaの利用例 (典型的なアーキテクチャ) 22

Slide 23

Slide 23 text

APIサーバーとして ● API Gatewayと組み合わせてAPIサーバーを構成する ● API GatewayからLambdaをトリガーする ● CloudFront + S3で静的ページ（SPA）からAPIをキックしてサーバーレスで Webページを構成するというのもよくやる CloudFront S3 API Gateway Lambda DynamoDB 23

Slide 24

Slide 24 text

AWSリソース管理の自動化 ● AWSの各サービスからのイベントをトリガーにしてAWSリソースを操作する ● Lambdaの実行環境にはAWS SDKがインストールされている ● Lambdaのトリガーに直接なれるものとなれないものもあるが、CloudWatch Eventsなどを経由してイベントを起こすことは可能 S3 CloudWatch Events Lambda SNS SNS CloudFormation 24

Slide 25

Slide 25 text

IoTサービスのバックエンドとして ● AWS IoT Core(Kinesis Streamの場合もある)でデバイスサイドからのデータを受けて、Lambdaをトリガーする Lambda S3 DynamoDB IoT Core 25

Slide 26

Slide 26 text

ストリームデータのバックエンドとして ● 基本的にはIoTのバックエンドの構成と同じ ● IoTのケースも同じだが、Lambdaをキックした後は、データ蓄積からETLへの発展という形が多い Lambda DynamoDB S3 Kinesis Data Streams 26

Slide 27

Slide 27 text

ETL処理 ● 発生したデータをトリガーにして変換を行う ● 変換後のデータはBIツールなどのソースになる ● データ発生がイベントとなることが多く、常時コンピューティングリソースを必要としないケースが比較的多いので向いている ● データのスケールにも対応しやすい(設計次第) S3 S3 Lambda DynamoDB Athena 27

Slide 28

Slide 28 text

休憩（10分） 28

Slide 29

Slide 29 text

Lambdaを始める (ハンズオン1) 29

Slide 30

Slide 30 text

ハンズオン前の諸注意 1. 最後に環境の削除をします a. 今日作成したもののダウンロードは削除手順に含めています b. 削除し忘れがあった場合、 Cloud9をホストしているEC2やEBSの利用料がかかるのでご注意ください 2. 質問は適宜チュータにお願いします a. いただいた質問の内容によっては最後に他の参加者と共有します 30

Slide 31

Slide 31 text

Lambdaの開発でよく利用されるツール群 ● 構成管理 ○ SAM(CloudFormation)およびSAM CLI ○ AWS CDK(Cloud Developement Kit) ● AWS SDK ○ boto3(AWS SDK for Python) ● AWSサービスのモックツール ○ LocalStack ○ moto ● API仕様書の記述 ○ OpenAPI(Swagger) 31

Slide 32

Slide 32 text

SAMについて ● AWS Serverless Application Model ● サーバーレスアプリケーション構築のためのフレームワーク ● CloudFormationの拡張として実装されていて、構成管理まで含まれる ○ デプロイ時にはCloudFormationに変換してスタック構築が実施される ● 専用のコマンドラインインターフェイスあり(AWS SAM CLI) 32

Slide 33

Slide 33 text

boto3について ● AWS SDK for Python ● LambdaのPythonランタイムにはインストールされている ○ AWS Lambda 関数を使用する際のベストプラクティス ○ プロダクションコードで採用する場合は、 AWSからアップデートされて挙動が変わる場合も踏まえてバージョンを指定してデプロイパッケージに含める運用も考慮する必要がある ● AWSのリソースへのアクセス、APIの実行などを担当する 33

Slide 34

Slide 34 text

ハンズオン1 1. Cloud9環境を用意する 2. SAMで雛形を作る 3. ローカル環境でテストを流す 4. デプロイ 5. Lambdaを動かす 34

Slide 35

Slide 35 text

Cloud9について ● AWSが提供しているクラウド上でのアプリケーション開発環境 ● コードエディタと開発環境がWeb上から使える ○ AWS CLIとAWS SAM CLIはインストール済み ○ 基本的な言語環境もインストール済み ● 作成するとEC2が立ち上がる ○ 本ハンズオン終了後の扱いに注意 ● Lambdaの開発において必須ではないが、今回は環境を揃えるために使用 35

Slide 36

Slide 36 text

Cloud9の環境準備 1. Create Environmentをクリック 2. Nameを入力(例：”My First Lambda”) 3. その他項目はデフォルトでNext Stepをクリック 4. 内容を確認してCreate Environmentをクリック 36

Slide 37

Slide 37 text

Cloud9の環境準備 37

Slide 38

Slide 38 text

Cloud9でPython3系を使う準備をする 1. Cloud9の環境はデフォルトでPython 2.7系にパスが通っています 2. cdを実行 3. .bashrcのalias python=python27をalias python=python36に変更 4. source .bashrcを実行 5. sudo update-alternatives --config pythonを実行して2を選択 6. python --versionとpip --versionを実行してバージョンを確認 38

Slide 39

Slide 39 text

SAMで雛形を作る 1. 画面下部のターミナルでsam init -r python3.6を実行 39

Slide 40

Slide 40 text

SAMのアプリケーション構成 1. hello_world/app.py：Lambda関数 2. test/unit/test_handler.py：Lambda関数のテストスクリプト 3. template.yaml：SAMの構成ファイル 40

Slide 41

Slide 41 text

各ファイルを見てみましょう(app.py) 1. 6行目：Lambdaのハンドラーになる関数の引数は決まっています a. event：イベントソースになるサービスなどにより構成が異なります。詳細は AWSのドキュメント(他のサービスで AWS Lambda を使用する)で確認してください。 b. context：Lambdaのランタイムからのコンテキスト情報などがセットされます。 2. 74〜80行目：Lambda内で実行する処理を書きます。boto3は実行環境にインストールされているので使えます。 3. 82〜87行目：Lambda関数が後続の処理に返す処理結果を記載します。どのサービスと連携するかによって戻り値の構成は異なります。 41

Slide 42

Slide 42 text

各ファイルを見てみましょう(test_handler.py) 1. 9〜63行目：テスト用のイベントソースを生成しています 2. 66〜81行目：pytestを利用したLambda関数のテストコードです 3. サンプルコードはAWSリソースに接続していないため、モックなどは必要ありません 42

Slide 43

Slide 43 text

各ファイルを見てみましょう(template.yaml) 1. 16〜30行目：Lambda関数とそのイベントソースに関する設定です a. Type::Serverless::Function：SAMで設定可能なLambda関数のリソースタイプです。他に利用可能なリソースタイプはAWSのドキュメント(AWS サーバーレスアプリケーションモデル (AWS SAM) の使用)をご確認ください。 b. CodeUri：Lambdaのコードが展開されているデプロイされたディレクトリのルートです。 c. Handler：Lambda関数のパスです。フォルダ名(複数あってもOK).関数名でセットされます。 d. Events：Lambda関数を実行するイベントソースです。サンプルでは Apiがセットされ、API Gatewayとの統合が指定されています。 2. 32〜44行目：CloudFormationスタックのアウトプットです。 43

Slide 44

Slide 44 text

テストを実行してみましょう 1. カレントディレクトリを~/environment/sam-appに変更 2. sudo pip install pytest requests pytest-mockを実行 3. python -m pytest tests/ -vを実行 4. テストがパスしていることを確認 44

Slide 45

Slide 45 text

デプロイしてみましょう 1. カレントディレクトリを~/environment/sam-appに変更 2. aws s3 mb s3://皆さんで決めてください --region ap-northeast-1を実行(初回のみ) 3. sam buildを実行 4. sam package --output-template packaged.yaml --s3-bucket 2で決めたバケット名を実行 5. sam deploy --template-file /home/ec2-user/environment/sam-app/packaged.yaml --capabilities CAPABILITY_IAM --stack-name lambda-tutorial-sample-app --region ap-northeast-1を実行 6. CloudFormationのスタックの状況を確認 45

Slide 46

Slide 46 text

APIを実行してみましょう 1. aws cloudformation describe-stacks --stack-name lambda-tutorial-sample-app --region ap-northeast-1 --query "Stacks[].Outputs" でスタックの出力を確認 2. "OutputKey": "HelloWorldApi"のレコードのOutputValueに記載されているエンドポイントURLをクリック 3. 結果が表示されることを確認 46

Slide 47

Slide 47 text

休憩（10分） 47

Slide 48

Slide 48 text

サーバーレスアーキテクチャと Lambdaの位置付け 48

Slide 49

Slide 49 text

サーバーレスアーキテクチャとは ● Martin Fowlerブログより ○ Serverless Architecutreは、サードパーティの BaaS(Backend as a Service)を盛り込んで、カスタムコードの実行管理に一時的なコンテナで動く FaaS(Functions as a Service)を含むアプリケーションデザインである。 ● 物理サーバやミドルウェアおよびOSレベルでのサーバの管理を行わない(クラウドベンダーに任せる)アーキテクチャ ● 関数やインフラの実行環境を動いている間だけ利用するアプリケーション実行プラットフォームの構成の仕方に対するワード ● 各クラウドベンダーのマネージドサービスを活用するため、アプリケーションの仕様がベンダーロックインしやすい 49

Slide 50

Slide 50 text

サーバーレスアーキテクチャが狙うもの ● リソースのランニングコスト最適化 ● プラットフォーム管理コストの削減 ● (アプリケーション側からの)リソースプランニング、プロビジョニングの簡略化 50

Slide 51

Slide 51 text

AWS上での実現 ● フルマネージドなサービス群を積極活用してサービスを構成する ● 各マネージドサービスが発生させるイベントを介して他のサービスを連動させることによってサービスが形作られる ● アプリケーションコードが必要な部分はLambda(FaaS)サービスを利用する ○ サーバーレスアプリケーションはコードを書くポイントを局所化する 51

Slide 52

Slide 52 text

サーバーレスアーキテクチャでのLambdaの利用 ● マネージドなコードの実行環境(FaaS)として利用 ● 各サービスのイベント間を埋める処理としてコードを記述 ○ ビジネスロジックでもあり、グルーコードでもある ● 非同期/ステートレスにイベントが実行されるので、冪等性の高い処理を志向する 52

Slide 53

Slide 53 text

Lambdaとともに利用されることが多いサービス ● API Gateway ● DynamoDB ● S3 ● CloudWatch(監視だけではなく、イベントソースとしても) ● CloudFront(SPAでサイトを構築する際の静的ファイルを展開するためのCDN) ● Kinesis Data Stream ● AWS IoT 53

Slide 54

Slide 54 text

APIサーバーとして ● API Gatewayと組み合わせてAPIサーバーを構成する ● API GatewayからLambdaをトリガーする ● CloudFront + S3で静的ページ（SPA）からAPIをキックしてサーバーレスで Webページを構成するというのもよくやる 54

Slide 55

Slide 55 text

Slide 56

Slide 56 text

IoTサービスのバックエンドとして ● AWS IoT Core(Kinesis Streamの場合もある)でデバイスサイドからのデータを受けて、Lambdaをトリガーする 56

Slide 57

Slide 57 text

ストリームデータのバックエンドとして ● 基本的にはIoTのバックエンドの構成と同じ ● IoTのケースも同じだが、Lambdaをキックした後は、データ蓄積からETLへの発展という形が多い 57

Slide 58

Slide 58 text

ETL処理 ● 発生したデータをトリガーにして変換を行う ● 変換後のデータはBIツールなどのソースになる ● データ発生がイベントとなることが多く、常時コンピューティングリソースを必要としないケースが比較的多いので向いている ● データのスケールにも対応しやすい(設計次第) 58

Slide 59

Slide 59 text

サーバーレスアーキテクチャでの鉄板パターン ● キューイングによる非同期処理 ○ Kinesis Data StreamやSQSなどを利用 ● SPA + APIの構成によるフロントエンドでのステート肩代わり 59

Slide 60

Slide 60 text

RDSが積極的に使われない理由について ● RDSのコネクション数はインスタンスサイズによって決まる ○ コネクションプーリングの仕組みがないため、そのままであればコネクションを各 Lambdaの実行プロセスごとに作成する ○ 並列に実行されるため、コネクション枯渇問題が発生する可能性がある ● 大規模トランザクションを現実的に使えない ○ Lambdaの実行時間はMAX15分 ○ トランザクションが必要になる処理は別のやり方を検討する必要がある ● VPC Lambdaにはリージョンで使う場合に比べてオーバーヘッドが大きい ○ Lambdaはリージョンサービスで RDSはAZサービス ○ RDSのエンドポイントをVPC外に公開する手もあるが、セキュリティ的に推奨はできない ○ VPC Lambdaのコールドスタート速度改善がアナウンスされた ■ 【速報】もうアンチパターンとは呼ばせない！！ VPC Lambdaのコールドスタート改善が正式アナウンスされました！！ 60

Slide 61

Slide 61 text

Slide 62

Slide 62 text

サーバーレスアプリケーションを作ってみる (ハンズオン2) 62

Slide 63

Slide 63 text

ハンズオン前の諸注意 1. 休憩は各自で適宜取りましょう 2. 最後に環境の削除をします a. 今日作成したもののダウンロードは削除手順に含めています b. 削除し忘れがあった場合、 Cloud9をホストしているEC2やEBSの利用料がかかるのでご注意ください 3. 質問は適宜チュータにお願いします a. いただいた質問の内容によっては最後に他の参加者と共有します 63

Slide 64

Slide 64 text

ハンズオンで使用する資料 1. pycon-serverless-tutorial.zip a. 今回使用するプロジェクトのスケルトン 2. api_specificatioin.md a. APIの仕様ファイル 3. 後ほどこちらで事前に作成している全コードを共有します 64

Slide 65

Slide 65 text

このハンズオンで作るもの 1. ファイルのアップローダ/ダウンローダAPIを作成 2. アップロードAPI a. APIからアップロード用の S3 Pre-signed URLとメタデータを取得 b. S3 Pre-signed URLを介してアップロード 3. リストアップAPI a. アップロードしたファイルのメタデータ一覧を取得 4. 画像更新用API a. APIからダウンロード用の S3 Pre-signed URLとメタデータを取得 b. S3 Pre-signed URLを介してダウンロード 5. ダウンロード用APIは割愛(自由課題) a. 他のAPIで実施する技術要素の中で対応可能なため 65

Slide 66

Slide 66 text

このハンズオンで作るもの(構成図) 66

Slide 67

Slide 67 text

このハンズオンの流れ 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 67

Slide 68

Slide 68 text

準備 1. sudo pip install pipenvを実行する 2. 配布したpycon-serverless-tutorial.zipをCloud9のプロジェクトにアップロードする 3. terminalでunzip pycon-serverless-tutorial.zipを実行する 4. terminalでsudo pip install boto3を実行する 68

Slide 69

Slide 69 text

リソースを作る 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 69

Slide 70

Slide 70 text

リソースを作る DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 a. sam.ymlにリソースを追加する b. DataBucket i. リソースタイプ：AWS::S3::Bucket ii. 通知設定：S3にオブジェクトが追加された時に SNSトピックに通知を行う c. DataTable i. リソースタイプ：AWS::Serverless::SimpleTable(SAMリソースでのDynamoDBテーブル) ii. キー項目：名前=>id、型=>string d. PutEventTopic i. リソースタイプ：AWS::SNS::Topic ii. その他設定：特になし e. PutEventPolicy i. リソースタイプ：AWS::SNS::TopicPolicy ii. 対象トピック：PutEventTopic iii. ポリシー設定：S3からPutEventTopicへのPublishを許可する 70

Slide 71

Slide 71 text

デプロイしてみましょう 1. カレントディレクトリを~/environment/pycon-serverless-tutorialに変更 2. pipenv install を実行 3. aws s3 mb s3://皆さんで指定 --region ap-northeast-1を実行(初回のみ) a. S3バケット名は全世界で一意である必要が 4. SAM_ARTIFACT_BUCKET=指定したS3バケット make deployを実行 5. CloudFormationのスタックの状況を確認 6. DynamoDBとS3バケット、SNSトピックが作成されていることを確認 71

Slide 72

Slide 72 text

リソースを作る(ふりかえり) 1. CloudFormationの基本的な書式 a. スタック上のリソース名 b. リソース種別 c. リソースの設定 2. スタック内でのリソースの参照の仕方 a. !Ref関数 3. Makefileの役割 a. ハンズオン1で見てきたように、デプロイまでには SAM -> CloudFormationのパッケージングからデプロイの流れが必要 b. 毎回手順を繰り返すのは面倒なので、デプロイ手順を Makefileのタスクで実施する 72

Slide 73

Slide 73 text

APIリソースと初めての関数を作る 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 73

Slide 74

Slide 74 text

APIリソースと初めての関数を作る ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 a. 関数用のディレクトリを作成 i. src/CreateMetadataFunctionを作成する b. メタデータ作成の関数を作る i. index.py(Lambdaからコールされるハンドラ ) ii. metadata_creator.py(メタデータを作成するビジネスロジック ) iii. logger/get_logger.pyとlogger/json_formatter.py(ログ出力のためのユーティリティ ) c. API連携のリソースを作る i. リソースタイプ：AWS::Serverless::Api(SAMでのAPI Gatewayリソースタイプ) ii. ステージ名：パラメータの StageNameを指定 iii. CORS設定：全メソッド(GET/PUT/POST/DELETE/OPTIONS)に以下のヘッダーを許可 1. 'Content-Type,X-Amz-Date,Authorization,X-Api-Key,X-Amz-Security-Token' 74

Slide 75

Slide 75 text

APIリソースと初めての関数を作る ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 d. Lambda関数のリソースを作る i. リソースタイプ：AWS::Serverless::Function ii. CodeUri(デプロイされるソースのパス )：src/CreateMetadataFunction iii. Handler(Lambdaがコールするファイルとメソッド名 )：index.handler iv. Policies(Lambda関数が必要とするリソースへのアクセスポリシー )： 1. arn:aws:iam::aws:policy/AmazonS3FullAccess 2. arn:aws:iam::aws:policy/AmazonDynamoDBFullAccess v. Events(Lambda関数のイベントソース )：PostMetadata 1. リソースタイプ：Api 2. Path(Rest APIのURL)：/metadata 3. Method(HTTPメソッド)：POST 4. RestApiId(どのAPIリソースに対してか)：!Ref ApiResource e. ロググループを作る i. リソースタイプ：AWS::Logs::LogGroup ii. ロググループ名：${LambdaLogGroupNamePrefix}/${CreateMetadataFunction} 75

Slide 76

Slide 76 text

デプロイしてみましょう 1. SAM_ARTIFACT_BUCKET=[AWS CLIで作成したS3バケット] make deployを実行 a. 先ほどと同じコマンド（バケット名）で OKです 2. CloudFormationのスタックの状況を確認 3. Lambda関数とAPI GatewayのAPI、リソースと統合が作成されていることを確認 76

Slide 77

Slide 77 text

APIリソースと初めての関数を作る(ふりかえり) 1. APIリソースの書き方、CORS設定 a. スタック上のリソース名 b. リソース種別 c. リソースの設定 2. Lambda関数作成 a. ハンドラーとコアロジックの分離 (ベストプラクティス) b. boto3を使ったAWSリソースのアクセス i. Lambdaの実行環境にインストール済み ii. DynamoDBとS3へのアクセス c. API GatewayのLambdaプロキシ統合でのInput/Outputの取り扱い d. Lambda関数リソースの作成 3. ロググループについての補足 a. CloudFormationで明示的に作成しなくても良い b. CloudWatch LogsのFilter機能などを使ってエラー通知も可能 i. この場合、事前にLogGroupを作成しておく必要がある 77

Slide 78

Slide 78 text

S3バケットのイベントとロググループの設定をする 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 78

Slide 79

Slide 79 text

S3バケットのイベントとロググループの設定をする DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 a. S3のPutイベントから起動する Lambda Functionを作成 i. src/PutS3EventFunctionを作成 ii. loggerはコピーする iii. src/PutS3EventFunctionをカレントディレクトリにして pip install pillowを実施 iv. index.py(Lambdaからコールされるハンドラ ) v. image_analyzer.py(画像からサイズ/横幅/縦幅を取得してDynamoDBのメタデータを更新する ) b. S3PutEventの設定 i. DataBucketのプロパティに以下を追加 1. NotificationConfiguration：通知設定 a. TopicConfigurations：SNSトピックへの通知 i. Event(S3の対象イベント)：s3:ObjectCreated:* ii. Topic(イベント通知先のトピック )：!Ref PutEventTopic 79

Slide 80

Slide 80 text

S3バケットのイベントとロググループの設定をする DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 c. Lambda関数のリソースを作る i. リソースタイプ：AWS::Serverless::Function ii. CodeUri(デプロイされるソースのパス )：src/PutS3EventFunction iii. Handler(Lambdaがコールするファイルとメソッド名 )：index.handler iv. MemorySize(Lambda関数に割り当てるメモリサイズ )：1024 v. Timeout(Lambda関数のタイムアウト)：300 vi. Policies(Lambda関数が必要とするリソースへのアクセスポリシー )： 1. arn:aws:iam::aws:policy/AmazonS3FullAccess 2. arn:aws:iam::aws:policy/AmazonDynamoDBFullAccess vii. Events(Lambda関数のイベントソース )：PutTopic 1. リソースタイプ：SNS 2. Topic(対象トピック)：!Ref PutEventTopic viii. 注意事項：画像を扱うためにメモリサイズとタイムアウト値を調整 80

Slide 81

Slide 81 text

S3バケットのイベントとロググループの設定をする DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 d. ロググループを作る i. リソースタイプ：AWS::Logs::LogGroup ii. ロググループ名：${LambdaLogGroupNamePrefix}/${PutS3EventFunction} 81

Slide 82

Slide 82 text

デプロイしてみましょう 1. SAM_ARTIFACT_BUCKET=[AWS CLIで作成した作成したS3バケット] make deployを実行 a. 先ほどと同じコマンド（バケット名）で OKです 2. CloudFormationのスタックの状況を確認 3. Lambda関数が作成されており、イベントソースがSNSになっていることを確認 82

Slide 83

Slide 83 text

S3バケットのイベントとロググループの設定をする(ふりかえり) 1. 依存する外部ライブラリの含め方 a. LambdaランタイムにはAWS SDKなど最低限のライブラリしかインストールされていない b. 依存する外部ライブラリを使用する場合はデプロイパッケージに含める必要がある i. Lambda Layerを使うケースもあり c. 今回のチュートリアルでは、デプロイする LambdaのディレクトリにPipenvを置いて依存関係をもち、 Makefile内でrequirements.txtを生成、デプロイパッケージとしてデプロイしている 2. Lambda関数におけるAPI Gateway以外のイベントソース a. S3の通知イベント設定 b. SNS Topicの使い方 83

Slide 84

Slide 84 text

画像更新用のURL生成APIを作る 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 84

Slide 85

Slide 85 text

画像更新用のURL生成APIを作る UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 a. [PUT] /metadata/{id}のAPI仕様を参考に作ってみましょう b. DynamoDBのアイテム更新のヒント i. update_itemメソッドを使用 ii. インプット(dict) 1. Key：テーブルの検索条件の指定 (dict) 2. ExpressionAttributeNames：後述するUpdateExpressionで条件式に使用する項目の代用テキスト、#代用テキスト名:項目名の形式で指定(dict) 3. ExpressionAttributeValues：後述するUpdateExpressionで条件式に使用する値の代用テキスト、:代用テキスト名:値の形式で指定(dict) 4. UpdateExpression：更新操作(文字列) a. 更新はSET #項目名=:値,...の形式で記述 5. ConditionExpression：操作対象レコードの条件 (文字列) 6. ReturnValues：update_itemのリターン値の設定 (文字列) a. ALL_NEW(更新後の全項目)を指定 85

Slide 86

Slide 86 text

ストレッチ 1. DataBucket/DataTable/PutEventTopic/PutEventPolicyの作成 2. ApiResource/CreateMetadataFunction/CreateMetadataLogGroupの作成 3. DataBucketにEventの設定とPutS3EventFunction/PutS3EventLogGroupの作成と実装 4. UpdateMetadataFunction/UpdateMetadataLogGroupの作成と実行 5. (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 6. (ストレッチ)単体テスト 7. (ストレッチ)画像がアップロードされた際のサムネイル作成 8. (ストレッチ)E2Eテスト 9. (ストレッチ)Metrics FilterとSNS Topicでエラー通知 86

Slide 87

Slide 87 text

ストレッチのヒント (ストレッチ)GetMetadataFunction/GetMetadataLogGroupの作成と実行 a. 今までの応用です 87

Slide 88

Slide 88 text

ストレッチのヒント (ストレッチ)単体テスト a. AWSリソースのモックには LocalStackを使う i. MakefileにDockerイメージの操作タスクあり b. DynamoDBは接続先をlocalhost:4569でboto3からリソースを作成して、利用するメソッドを実装するモッククラスを作成する i. 利用するAPI(update_itemなど)を実装 ii. データはテキストファイルなどにテスト用に永続化など 88

Slide 89

Slide 89 text

ストレッチのヒント (ストレッチ)画像がアップロードされた際のサムネイル作成 a. 今回はメタデータを取得するだけだったが、他の処理も同じイベントで同時に走らせたいケースもある i. 画像解析やサムネイルの作成 b. SNSのトピックをイベントソースにしておけば全てのサブスクライバーが同時に処理を実行することができる i. Fanoutパターン 89

Slide 90

Slide 90 text

ストレッチのヒント (ストレッチ)E2Eテスト a. 単体テストでみた通り、サーバーレスはローカル環境でのテスト実施での旨味が減少する b. 実際にデプロイしてAPIを叩いてあげるテストを実施しないと担保が難しくなる c. オーソライザが絡むと APIに限定したE2Eテストが難しくなるケースもあるため、プロジェクト全体でどのようにテストを実施するか検討する 90

Slide 91

Slide 91 text

ストレッチのヒント (ストレッチ)Metrics FilterとSNS Topicでエラー通知 a. エラー通知用のSNSトピックを追加(LogAlertTopic) i. リソースタイプ：AWS::SNS::Topic ii. スタックのアウトプットにトピック名を追加 1. トピック名を指定せずに作成するため 2. スタックのリソースから属性を取得するときは !GetAtt リソース名.属性名を使う b. CreateMetadataFunction用のCloudWatch Logs Metric Filter/CloudWatch Alarmを作成 i. CreateMetadataMetricFilter(ログファイルからエラーとなるパターンを読み取ってメトリクスとして通知) 1. リソースタイプ：AWS::Logs::MetricFilter 2. FilterPattern(抽出パターン)："?\"\\\"levelname\\\": \\\"ERROR\\\"\"" 3. LogGroupName：CreateMetadataFunctionのロググループを参照する 4. MetricTransformations(メトリクスに送る設定 )： a. MetricNameおよびMetricNamespace：自由テキスト b. MetricValue：1 91

Slide 92

Slide 92 text

ストレッチのヒント (ストレッチ)Metrics FilterとSNS Topicでエラー通知 b. CreateMetadataFunction用のCloudWatch Logs Metric Filter/CloudWatch Alarmを作成(続き) i. CreateMetadataAlarm(メトリクスからアラームを SNSトピックにパブリッシュする ) 1. リソースタイプ：AWS::CloudWatch::Alerm 2. AlermName：自由テキスト 3. AlermActions(アラーム時のアクション対象リスト )：LogAlertTopicを参照する 4. ActionEnabled：true 5. MetricName(メトリクス名)：MetricFilterで作成するMetricsTransformationsでの名前 6. NameSpace：MetricFilterで作成するMetricsTransformationsでの名前 7. 以下、アラームの諸条件 (60秒間でのメトリクスの数が 1以上ならアラートをだす ) a. Statictic：Sum b. Period(統計を適用する秒数 )：60 c. EvaluationPeriod：1 d. Threshold(条件の閾値)：1.0 e. ComparisonOperator(条件式)：GreaterThanOrEqualToThreshold(閾値以上の場合) 92

Slide 93

Slide 93 text

ストレッチのヒント (ストレッチ)Metrics FilterとSNS Topicでエラー通知 c. LogAlertTopicからメール通知の設定 i. トピックのサブスクライバを Emailで作成する d. そのほかの関数に対するエラー通知 i. 各関数ごとにMetricFilterとAlarmを作成する ii. NameSpaceとLogAlertTopicは共有 93

Slide 94

Slide 94 text

環境のお掃除 1. Cloud9のFile->Download Projectで今回のファイルのダウンロード 2. ハンズオン1で作成したスタックを削除する a. aws cloudformation delete-stack --stack-name lambda-tutorial-sample-appを実行する b. ハンズオン1で作成したデプロイ用の S3バケットを削除する 3. ハンズオン2で作成したAPIの利用に伴うS3バケットをクリアする a. pycon-serverless-tutorialをカレントディレクトリにする b. STACK_NAME=PyconServerlessTutorial python make_bucket_empty.pyを実行 4. ハンズオン2で作成したスタック、リソースを削除する a. aws cloudformation delete-stack --stack-name PyconServerlessTutorialを実行 b. ハンズオン2で作成したデプロイ用の S3バケットを削除する 5. Cloud9の環境を消す a. 環境を選択してメニューから Delete b. ダイアログにDeleteと入力してDeleteボタンクリック 94

Slide 95

Slide 95 text

クロージング 95

Slide 96

Slide 96 text

本日のチュートリアルのゴール(再確認) 1. AWS上で構築するサーバーレスアプリケーションの基本構成について知る 2. Lambdaの利用に十分な構成について知る 3. AWSの基本的なツールセットを使って、サーバーレスなAPIを構築する手順を知る 96

Slide 97

Slide 97 text

これからの展開と関連するサービス ● アプリケーションを拡張したい ○ S3にアップロードしたファイルが画像ファイルだったら画像解析してメタデータを取りたい ■ S3 PUTイベントからLambdaを呼び出してRekognitionを使う ● サーバーレスアプリケーションを再利用可能なものとして公開したい ○ Serverless Application Repositoryを使う ● 複数のLambdaをオーケストレーションする複雑な処理を書きたい ○ Step Functionsを使う ● CI/CD環境を整えたい ○ CodeCommit/CodeBuild/CodePipelineを使う ○ GitHub/CircleCIを使う ● サーバーレスアプリケーションを監視したい ○ CloudWatchを使う(基本的なメトリクスはデフォルトで採取される ) ○ Lambda アプリケーションのモニタリングとトラブルシューティング ○ 監視面でも運用に集中できる 97

Slide 98

Slide 98 text

Lambdaで開発をするときに役立つリンク ● AWS Lambda イベントソースマッピング ○ Lambdaは連携するイベント次第でコール時のイベント情報が異なるので、利用時には確認しておいた方がいい ● エラー処理と AWS Lambda での自動再試行 ○ エラーのスローの仕方とエラーを拾った後をどう設計するか ○ デッドレターキューの利用へのリンクもあるので、プロダクションを意識する時には目を通しておきたい ● Lambda 関数で使用できる環境変数 ○ プリセットされている各種環境変数を知る ● AWS Lambda 関数を使用する際のベストプラクティス ○ 依存関係の管理など 98