細切れにすれば何でも食べられるLambdaはそういうやつ

Transcript

1. 細切れにすれば何でも⾷べられる Lambdaはそういうやつ
2. 奥⽥⿓之介 株式会社テクノプロジェクト   捨て猫のマンチカンを飼ってます 明⽇10万円のオフィスチェアが届く ので楽しみ
3. RAGの調査と構築をする機会があった。 AWSを勉強してた。サーバーレスが⾯⽩そうだった。 よし、組み合わせてみよう！
4. サーバーレスとは 引用：https://blog.serverworks.co.jp/2022/08/05/131624
5. RAGとは 引用：https://atmarkit.itmedia.co.jp/ait/articles/2403/13/news035.html
7. ⼯夫⼀覧 ➔ S3の複数ファイルアップロード検知 ➔ FAISSとS3を使⽤したベクトルDBの構築 ➔ LambdaとStep functionsを使⽤した並列処理 ➔ LambdaとSQSとDynamoDBを使⽤した並列処理   ‧‧‧
8. ⼯夫⼀覧 ➔ S3の複数ファイルアップロード検知 ➔ FAISSとS3を使⽤したベクトルDBの構築 ➔ LambdaとStep functionsを使⽤した並列処理 ➔ LambdaとSQSとDynamoDBを使⽤した並列処理   ‧‧‧
9. ココ
10. 引用：https://atmarkit.itmedia.co.jp/ait/articles/2403/13/news035.html ココを 作る処理
11. RAGのドキュメント処理 メロスは激怒した。必 ず、かの邪智暴虐の王 を除かなければならぬ と決意した。メロスに は政治がわからぬ。 メロスは激怒した。 必ず、かの邪智 暴虐の王を除か なければならぬ と決意した。 メロスには政治 がわからぬ。 [0.86, 0.21, 0.64, ...] [0.50, 0.11, 0.98, ...] [0.12, 0.21, 0.45, ...]
12. Lambdaだけで処理しようとすると... リソース制限に引っかかる（メモリ10GB、ストレージ10GB） え、ちょ、 無理っす 圧倒的パンク
13. 対処法 メロスは激怒した 必ず、かの... メロスには政... チャンクA チャンクB チャンクC チャンクD チャンクE チャンクF まかせろ！
14. Lambdaを並列に動かせばいいけど‧‧‧ 「どうやって実⾏フローを制御するの？」 「エラーが出たらリトライは？」 「直列‧並列を混ぜた処理をどう書くの？」 ヒャッハー！
15. Step Functionsを使おう 整列！！ ﾊｲｯ!!
16. ➔ 失敗時のリトライが⾃動 ➔ 並列/直列の組み合わせが柔軟 ➔ Lambdaの同時実⾏数の制御 ➔ ノーコードで定義できる などなど
17. まとめ 重たい処理でも細分化すればLambdaで回せる Step Functionsを使えば扱いが簡単になる クラウドの利点を最⼤限活かせる みんなも使ってね