Dockerで始めるAWS Lambda開発

Transcript

1. Dockerで始める AWS Lambda開発 @Hibiya.Tech #4 「初心者歓迎！使ってみた技術 LT大会」 Takahide Sato (@Taka_input)
2. 自己紹介 名前: 佐藤 鷹英 GitHub: stutkhd-0709 X: @Taka_input 所属: 株式会社CyberOwl 趣味: サウナ, Crossfit
3. 目次 • AWS Lambdaとは • AWS Lambda Runtime Interface Emulator (RIE) • AWS Lambda Web Adapter • まとめ
4. AWS Lambdaとは
5. aws lambda サーバーレスのイベント駆動型のコンピューティングサービス AWSのサービスをトリガーとして起動することなど可能
6. デフォルトのlambdaの実行コード entrypointはlambda独自の実装が必要
7. デプロイ方法 • Zipパッケージ • Docker Image
8. lambdaをローカルで開発するライブラリ • AWS SAM • serverless Framework など どちらもyamlでリソースを管理・デプロイ可能
9. AWS SAMの場合 template.yamlで管理
10. 便利！だけど...
11. yamlファイルの学習コスト • 独自プロパティが多い ◦ 運用コストがかかる ▪ フレームワークを使ったことないとわからない • yaml管理が若干オーバースペック ◦ lambdaのみ開発したいなら、デプロイはaws-cliで十分
12. lambdaのみの開発とデプロイの理想 普段使っている技術でローカルの開発ができる & デプロイはaws cliで問題ない
13. では、何が良さそうか...?
14. デプロイ方法を眺めてみる • Zipパッケージ • Docker Image
15. デプロイ方法を眺めてみる • Zipパッケージ • Docker Image ➡ ローカル環境もDockerで開発して、デプロイもDocker Image使えば要件を満たせそ う！
16. 早速、Lambdaの公式イメージを探してみる
17. Dockerfileも簡単にかけそう！
18. そんな簡単ではなかった😇
19. ホットリロードが効かない lambdaのdocker imageは以下の手順で、関数実行用のruntimeを1度だけ生成する nodeのruntimeの場合 1. /lambda-entrypoint.sh (DockerのEntrypoint) 2. /var/runtime/bootstrap (runtime entrypoint) 3. node /var/runtime/index.mjs (関数用runtime生成） 関数実行runtimeの生成をホットリロードしたい！
20. Docker + ホットリロードが使え る仕組みはあるのか？🧐
21. AWS Lambda Runtime Interface Emulator (RIE)
22. AWS Lambda Runtime Interface Emulator (RIE)とは AWS Lambdaのランタイム環境をエミュレートするツール リポジトリ 引用: https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html
23. Runtime生成をホットリロードしたい = RIEを再起動させ続ければいい！ つまり...
24. RIEの使い方 提供されてるaws-lambda-runtime-interface-emulatorの実行ファイルを取得して、 実行することが可能 -> コンテナ内に配置して実行可能！
25. AWS Lambda Runtime Interface Client (RIC) Lambda ServiceとExecute Environmentが通信するためのクライアント カスタムイメージの場合はこれを自前で用意する必要がある
26. AWS Lambda Runtime Interface Client (RIC) RICは言語ごとに配布されている 引用:https://docs.aws.amazon.com/lambda/latest/dg/images-create.html#runtimes-api-client
27. AWS Lambda Runtime Interface Client (RIC) 本番環境ではlambdaをEmulateする必要がないため、RICのみImageに含める
28. Dockerfile 以下の３つに分割 • dockerfile.base ◦ RICを入れたベースイメージ • dockerfile.lcl ◦ ベースから作成した、RIC + RIEイメージ (ローカル開発) • dockerfile.prd ◦ ベースから作成したマルチステージビルドしたRICのみのイメージ (本番)
29. dockerfile.base RICインストール
30. dockerfile.lcl RIEインストール
31. dockerfile.prd
32. entrypoint.lcl.sh このファイルがnodemonに よってホットリロードされ、 RIEのプロセスが再起動さ れる 参考: https://dev.to/nipatiitti/custom-aws-lambda-docker-image-for-local-development-41j8
33. デプロイ buildしたImageをcliでそのままデプロイするだけで動く(ECR push済み)
34. ローカルのデバッグ方法 http://localhost:<PORT>/2015-03-31/functions/function/invocationsというエン ドポイントに対してリクエストする
35. DockerでLambda開発できた🎊
36. 数日後...
37. Xで面白そうな記事を見つけた 引用: https://aws.amazon.com/jp/builders-flash/202402/lambda-container-runtime/?awsf.filter-name=*all
38. 引用: https://aws.amazon.com/jp/builders-flash/202402/lambda-container-runtime/?awsf.filter-name=*all
39. 試してみる󰝋💨
40. AWS Lambda Web Adapter
41. AWS Lambda Web Adapterとは Lambda上で動かしているアプリケーションとRuntime APIの間に入り、lambda eventとhttpリクエストの変換を行うlambda extention リポジトリ
42. 参照: https://speakerdeck.com/_kensh/web-frameworks-on-lambda?slide=61
43. 何が嬉しいか Lambdaに依存したコーディングをせずに HTTP通信を扱えるフレームワークならデプロイすることが可能 -> ECSなどの別サービスとの互換性が高い(ポータビリティ)
44. lambdaにするメリット • 安価 • スケーラビリティ
45. Lambda Web Adapterで開発
46. 社内でECS -> Lambdaに 移行できそうなサービスを探してみた👀
47. Metabaseサーバー(ECS) OSSのBIツール 自前でサーバーをたてて、BIサーバーを立てる ことが可能 RDS, BigQueryのダッシュボードも作成可能
48. なぜLambdaに乗り換えられると思ったか • データを処理するタイミングはユーザーがダッシュボードを見るタイミング ◦ 常時起動は不要 • 社内でしか使わないため、レスポンス速度が多少悪くても問題ない ◦ コールドスタートの制約を気にしなくていい • Metabase自体がhttp通信できるので、web adapterで対応可能
49. いけそう！
50. web adapterを追加する デプロイするイメージのDockerfileに以下の１文を追加し、extension追加
51. web adapterを追加する 以下の環境変数を適切に設定する必要があります • AWS_LWA_READINESS_CHECK_PATH ◦ ヘルスチェック用のパス • PORT ◦ サーバーのポート
52. できた！
53. けど、DBの同期がずっと終わらない...
54. こちらは解決まで至りませんでした... 必ずしも全てのアプリケーションですぐ動作するわけではなさそ う
55. 次に、全く新しいアプリケーションで 開発してみる
56. 開発したアプリ SPAの簡易BIツール 技術スタック • フロントエンド -> Vue.js • バックエンド -> node.js・express • DB -> PostgreSQL
57. 完成図
58. インフラ IAM認証 lambdaの関数URL がオリジン
59. 開発・デプロイについて • 開発 ◦ express動かしてるだけなので普通の開発と何も変わらない ◦ RIE/RICと違って、エンドポイントが自由に決められるのでフロント側でローカル専用 の書き換えなどが不要 ◦ 独自のホットリロード処理も不要 • デプロイ ◦ Lambdaの関数更新はaws-cliで可能
60. インフラについて • パブリックアクセス可能なLambda関数URLのアクセス制限 ◦ Lambda関数URLはprivate subnetのVPCにいてもpublicなURL ◦ Lambda関数URLをIAM認証にして、Lambda@edgeで認証ヘッダー を付与 ▪ これにより、CloudFront経由のみlambdaにアクセスが可能 ▪ しかしあまり綺麗ではない • 今後S3のようにIAMで制限してほしい！
61. ランタイムで発生したlambda特有のエラー npmがエラーログを吐き出すディレクトリ(/home/sbx_user1051/.npm/_logs)をサー バー起動時に作成しようとするがエラーになる ➡ lambdaの書き込みはエフェメラルストレージのみ可能(/tmp)
62. ランタイムで発生したlambda特有のエラー Dockerfileに以下を追加して対応 書き込み先をtmpに限定
63. まとめ
64. まとめ • web adapterの登場でlambdaに依存しないコード開発が可能になった ◦ web adapterを使ったデプロイも簡単にできる ◦ しかしECS -> Lambdaへの切り替えはスムーズとは限らない ▪ 本当にLambdaが適切か吟味する必要あり
65. Lambda Web Adapter でウェブアプリを (ほぼ) そのままサーバーレス化する AWS Lambda の上でいろんなWEB フレームワークを動かそう！ / Web Frameworks on Lambda コンテナランタイムとしての AWS Lambda AWS Lambda Runtime Interface Clients / Emulator とはなにか Custom AWS Lambda Docker image for local development 参考文献