Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rust on Lambda 大きめCSV生成
Search
Atsushi Yokota
July 19, 2022
Programming
3
1.1k
Rust on Lambda 大きめCSV生成
「Rust、何もわからない... #3」資料
Atsushi Yokota
July 19, 2022
Tweet
Share
More Decks by Atsushi Yokota
See All by Atsushi Yokota
在庫の最適化を実現する SaaSデータ基盤の裏側
atsuyokota
0
74
Athenaで実現する時系列データのパフォーマンス改善
atsuyokota
0
73
Other Decks in Programming
See All in Programming
BuefyのMaintainerを引き継いだ件
kikuomax
0
430
Flutterアプリを GitHub Actions & Xcode Cloud で社内配布する / Distribute Flutter apps internally
takasfz
0
130
Docker ハンズオン / docker-hands-on
suzukihoge
48
15k
一休.comレストランのRustバックエンド開発の様子
kymmt90
13
7.9k
25 Years of the JCP Program
ivargrimstad
0
1k
ADRを一年運用してみた/our_story_about_adr
hanhan1978
3
1.1k
Microsoft Fabricを7ヶ月使ってわかったこと
shun_oshidari
2
450
Sementic Kernelのネイティブ関数について
tomokusaba
0
790
まっちすいっち戦争 / match vs switch
takuyakatsusa
1
630
Running Laravel Apps With FrankenPHP
dunglas
4
1.2k
syndicationd LT
ymgyt
0
110
Deno に Web 標準 API を実装する / Implementing Web Standard API to Deno
petamoriken
0
310
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
14
2.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
Docker and Python
trallard
33
2.6k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
Designing with Data
zakiwarfel
94
4.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Side Projects
sachag
451
41k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
930
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
Building Applications with DynamoDB
mza
88
5.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
272
12k
Transcript
Rust on Lambda 大きめCSV生成 コケたら立ち上がるまでが技術者 “ “ フルカイテン株式会社 横田
Atsushi Yokota バックエンドエンジニア 2 • 2020年10月 フルカイテン入社 • FULL KAITEN
V3の新規開発に携わり、Rustによる GraphQLサーバーの構築やアーキテクチャーの設計を 行う • 現在は、データ基盤を担当し、ビックデータ処理を PySparkで構築、スクラムマスターも兼任している 自己紹介
3 在庫を利益に 変えるクラウド 今ある在庫で 売上・利益を最大化! データや帳票の 集計は不要! 運用定着まで 徹底サポート! EC・店舗・倉庫、
全ての在庫をAIで予測・分析し、 商品力をワンクリックで見える化。 とは
1. アーキテクチャー概要 2. CSV生成フロー 3. Rust on Lambda 4. CSV生成部分での工夫
Agenda
5 アーキテクチャー概要 Frontend ・Next.js ・React etc データ変換 Athena Aurora PostgreSQL
Redshift Fargate Python Step Functions SQS Lambda ETL 集計処理 データ基盤 Fargate Step Functions S3 Glue GraphQL APIサーバー Rust
actix-web 6 Lambda導入前のCSV生成フロー[Before] • 数十万件の出力をする場合があり、メモリをかなり多めに確保する必要があった • リクエストの集中でサーバー負荷が一気に上がっていた ブラウザ CSV生成 CSVファイル
GraphQL PostgreSQL
Webサーバーの安定化とCSV生成の高速化を実現 actix-web 7 Lambda導入後のCSV生成フロー[After] ブラウザ PostgreSQL 署名付きリンク GraphQL S3 Rust
on Lambda SQS 書き込み CSV生成 アップロード 起動 CSVファイル (ポーリング) メッセージ送信 読み込み
リクエストパラメーターをハッシュ化 8 ジョブ管理機能 データベースに保存 生成済みのCSVを返却 SQSにメッセージを送信 リクエスト重複あり リクエスト重複なし
Rust on Lambda
▪ lambda_runtime ▪ tokio 10 AWS Lambdaのカスタムランタイムで実行 Rustのカスタムランタイム https://github.com/awslabs/aws-lambda-rust-runtime 依存
ライブラリー カスタムランタイムとは Lambdaで標準でサポートされていない言語であっても、 ランタイムのコードと関数をアップロードすることで、Lambdaを使うことができる。 ▪ serde ▪ rusotoやaws sdk
11 実装例 出典: https://github.com/awslabs/aws-lambda-rust-runtime メイン関数からハンドラー関数を実行 ハンドラー内でロジックを記述
12 Lambdaの更新 Rust on Lambda ECR PUSH
13 RustでLambdaを使うメリット Lambdaの標準対応の言語ランタイム (Node.js、Python, Goなど) より起動が早い 出典: AWS Lambda battle
2021: performance comparison for all languages (cold and warm start) メモリフットプリントが少な く、インスタンスサイズが 小さめでも問題がない Lambdaのイメージサ イズが他言語に比べ て小さい 仮想マシンが確保しや すい(はず) 01 02 03
14 RustでLambdaを使うときのデメリット 開発環境では直接アップロード コンパイルに時間がかかる CIを通すと確認まで時間がかかる
15 苦労したこと(現在は解消している) 開発開始時期(2021年4月)が早く、actix-webのtokio 0.2.5だった。 lambda_runtimeのtokioバージョンと不一致のため、サンプル通りにうまく行かなかった。 actix_rtを使用して、実現していた ...
• 100万件のCSVでも処理可能に • 同一リクエストパラメーターなら、一瞬でダウンロード可能 16 CSV生成部分での工夫 メモリ使用量を減らすために、 マルチパートアップロードで S3に分割送信 分割アップロード
Rust on Lambda ECR Lambdaへの移行結果
Rust on Lambdaは 第一線で活躍中 結論
Rustチャレンジしたい人募集中! 一緒に世界の大量廃棄問題を解決しましょう! https://note.com/fullkaiten_re フルカイテン公式note