CSV登録をAWSサーバーレスで実装

JAWS-UG青森2024登壇資料

Transcript

1. CSVデータ登録機能をサーバーレスで実装 アイレット株式会社 三浦 登哉
2. ・年齢 26歳 ・出身 青森県弘前市出身 ・所属 アイレット株式会社 第一開発事業部 ・業務 開発エンジニア（フロント、バックエンド） 三浦 登哉 自己紹介
3. System Integrator（SIer） クラウドの設計、構築からシステム開発、デザイン設計 運用保守までトータルサポート 弊社のサービス
4. ユーザーがCSVファイルでデータ登録する (最大20万件のデータ登録) 要件
5. まずは登場するサービスについてご紹介
6. AWS Lambda ・サーバーの準備・管理は不要で、コードを与える だけで実行してくれる ・実行時間単位で料金が発生する ・ユースケース例 ・アプリバックエンド ・ファイル処理 ・IoTバックエンド
7. Amazon API Gateway ・API の作成、公開、保守、モニタリング、保 護を簡単に行える ・フルマネージドなので開発者はAPIの管理に 集中できる ・APIコール数と送出したデータ量に料金が発 生する
8. Amazon S3 ・AWS最初期(2006年3月〜)からある伝統的なオブジェ クトストレージサービス ・大量データの保存・取得が簡単にできる ・データの耐久性は99.999999999% ・ユースケース例 ・ウェブサイトホスティング ・バックアップ ・データレイク
9. 実装方針の検討
10. ・CSVデータ登録処理用のAPIを1本追加することをまず初めに考えた ・流れとしては、クライアントアプリケーションからAPIにCSVを投 げて、Lambdaでデータ抽出&DBに登録 実装方針の検討
11. ・CSVデータ登録処理用のAPIを1本追加することをまず初めに考えた ・流れとしては、クライアントアプリケーションからAPIにCSVを投 げて、Lambdaでデータ抽出&DBに登録 実装方針の検討
12. ・リクエスト/レスポンスのペイロードサイズの制約 API Gateway (REST API)：最大10MB Lambda :最大6MB →ペイロードサイズの制約は引き上げ不可 →登録データが最大件数(20万)の場合、CSVファイルのサイズは15MBな のでファイル送れない、、 →よってこの設計では達成できない API Gateway×Lambdaの課題
13. ・フロントエンドから直接S3にファイルをアップロードし、S3の 作成イベントでLambda実行 →S3はオブジェクトの作成や削除に対してイベントを発行できる →イベントの通知先としてLambda、SNS、SQS、 Amazon EventBridgeを指定できる、今回はLambdaを指定 解決方法
14. ・ペイロード上限の壁は気にしなくて良くなった →S3は1ファイルアップロードにつき最大5GBまで可能 →よってCSVの容量が増えた場合にも5GBまでは対応できる(柔軟性UP) Amazon Web Services ブログでも、大容量ファイルのアップロードに は今回の構成がオススメされている https://aws.amazon.com/jp/blogs/news/large-size-files- transferring-by-serverless-s3presignedurl-and-clientside- javascript/ 立ちはだかるペイロード上限の制約クリア
15. プライベートS3バケットへのアクセス方法
16. ・インターネットから直接アクセスできないように設定されたS3バケッ ト ・用途 機密データなどユーザーに公開したくないデータの保管 プライベートS3バケット
17. ・プライベートなバケットに対してセキュアにアクセスできるよう、 S3へのアクセス権を一時的に他のユーザーに付与する仕組み ・有効期限があるURLなので、万が一漏洩しても被害は最小限 →今回はクライアントアプリに署名付きURLを一度渡して、その URLにPOSTすることでセキュアなアップロードを実現 S3署名付きURL
18. 最終的なアーキテクチャ
19. まとめ ・ S3を経由させることでAPI GatewayとLambdaの制約回避 ・イベント駆動(非同期)にすること柔軟性が生まれる ・CSVに限らずファイルアップロードのさまざまなの処理に流用でき る設計 ・今後もいろんなユースケースでサーバーレスサービスを活用してい きたい
20. ナレッジ共有+AWSサーバーレスに入門した話に お付き合いいただき、ありがとうございました！ これからサーバーレスに挑戦する方々へのヒントや 励みになれば幸いです。