Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Rust on Lambda 大きめCSV生成

Rust on Lambda 大きめCSV生成

「Rust、何もわからない... #3」資料

Bfcda4dca8fd6a07980ed8d5b21a572b?s=128

Atsushi Yokota

July 19, 2022
Tweet

Other Decks in Programming

Transcript

  1. Rust on Lambda 大きめCSV生成 コケたら立ち上がるまでが技術者 “ “ フルカイテン株式会社 横田

  2. Atsushi Yokota バックエンドエンジニア 2 • 2020年10月 フルカイテン入社 • FULL KAITEN

    V3の新規開発に携わり、Rustによる GraphQLサーバーの構築やアーキテクチャーの設計を 行う • 現在は、データ基盤を担当し、ビックデータ処理を PySparkで構築、スクラムマスターも兼任している 自己紹介
  3. 3 在庫を利益に 変えるクラウド 今ある在庫で 売上・利益を最大化! データや帳票の 集計は不要! 運用定着まで 徹底サポート! EC・店舗・倉庫、

    全ての在庫をAIで予測・分析し、 商品力をワンクリックで見える化。 とは
  4. 1. アーキテクチャー概要 2. CSV生成フロー 3. Rust on Lambda 4. CSV生成部分での工夫

    Agenda
  5. 5 アーキテクチャー概要 Frontend ・Next.js ・React etc データ変換 Athena Aurora PostgreSQL

    Redshift Fargate Python Step Functions SQS Lambda ETL 集計処理 データ基盤 Fargate Step Functions S3 Glue GraphQL APIサーバー Rust
  6. actix-web 6 Lambda導入前のCSV生成フロー[Before] • 数十万件の出力をする場合があり、メモリをかなり多めに確保する必要があった • リクエストの集中でサーバー負荷が一気に上がっていた ブラウザ CSV生成 CSVファイル

    GraphQL PostgreSQL
  7. Webサーバーの安定化とCSV生成の高速化を実現 actix-web 7 Lambda導入後のCSV生成フロー[After] ブラウザ PostgreSQL 署名付きリンク GraphQL S3 Rust

    on Lambda SQS 書き込み CSV生成 アップロード 起動 CSVファイル (ポーリング) メッセージ送信 読み込み
  8. リクエストパラメーターをハッシュ化 8 ジョブ管理機能 データベースに保存 生成済みのCSVを返却 SQSにメッセージを送信 リクエスト重複あり リクエスト重複なし

  9. Rust on Lambda

  10. ▪ lambda_runtime ▪ tokio 10 AWS Lambdaのカスタムランタイムで実行 Rustのカスタムランタイム https://github.com/awslabs/aws-lambda-rust-runtime 依存

    ライブラリー カスタムランタイムとは Lambdaで標準でサポートされていない言語であっても、 ランタイムのコードと関数をアップロードすることで、Lambdaを使うことができる。 ▪ serde ▪ rusotoやaws sdk
  11. 11 実装例 出典: https://github.com/awslabs/aws-lambda-rust-runtime メイン関数からハンドラー関数を実行 ハンドラー内でロジックを記述

  12. 12 Lambdaの更新 Rust on Lambda ECR PUSH

  13. 13 RustでLambdaを使うメリット Lambdaの標準対応の言語ランタイム (Node.js、Python, Goなど) より起動が早い 出典: AWS Lambda battle

    2021: performance comparison for all languages (cold and warm start) メモリフットプリントが少な く、インスタンスサイズが 小さめでも問題がない Lambdaのイメージサ イズが他言語に比べ て小さい 仮想マシンが確保しや すい(はず) 01 02 03
  14. 14 RustでLambdaを使うときのデメリット 開発環境では直接アップロード コンパイルに時間がかかる CIを通すと確認まで時間がかかる

  15. 15 苦労したこと(現在は解消している) 開発開始時期(2021年4月)が早く、actix-webのtokio 0.2.5だった。 lambda_runtimeのtokioバージョンと不一致のため、サンプル通りにうまく行かなかった。 actix_rtを使用して、実現していた ...

  16. • 100万件のCSVでも処理可能に • 同一リクエストパラメーターなら、一瞬でダウンロード可能 16 CSV生成部分での工夫 メモリ使用量を減らすために、 マルチパートアップロードで S3に分割送信 分割アップロード

    Rust on Lambda ECR Lambdaへの移行結果
  17. Rust on Lambdaは 第一線で活躍中 結論

  18. Rustチャレンジしたい人募集中! 一緒に世界の大量廃棄問題を解決しましょう! https://note.com/fullkaiten_re フルカイテン公式note