Amazon Bedrockの「Too Many Requests」の対策を考える

Transcript

1. ©Fusic Co., Ltd. 0 Amazon Bedrockの「Too Many Requests」の 対策を考える 2025.08.11 佐藤 礼央奈 X: @xthixsl_ml JAWS-UG佐賀 佐賀の中心でAWSを叫ぶ
2. ©Fusic Co., Ltd. 1 自己紹介 はじめに 佐藤 礼央奈 R E O N A S AT O 株式会社Fusic エンジニア 東京の大学を卒業。在学中にエンジニアとして3社で約2年半の長期イン ターンを経験。機械学習や生成AIの研究開発に携わる中で、MLモデルの 本番運用に興味を持ちMLOpsに関心を深める。生成AIを取り入れた開発 や、AWSパートナー企業での経験から、同領域に強みを持つFusicに魅力 を感じ、2025年に新卒入社。
3. ©Fusic Co., Ltd. 2 1. 背景 2. 原因 3. 対策
4. ©Fusic Co., Ltd. 3 背景 1
5. ©Fusic Co., Ltd. 4 1.背景 • RAGの精度検証を行っていました • Boto3・RAGASを使ってRAGの検索・回答精度の 検証 • 検証用のデータセット • 質問数 100個
6. ©Fusic Co., Ltd. 5 1.背景 • RAGの精度検証を行っていました • Boto3・RAGASを使ってRAGの検索・回答精度の 検証 • 検証用のデータセット • 質問数 100個
7. ©Fusic Co., Ltd. 6 原因 2
8. ©Fusic Co., Ltd. 7 2.原因 • クォータの上限に達している
9. ©Fusic Co., Ltd. 8 対策 3
10. ©Fusic Co., Ltd. 9 3.対策① • リージョンを変える、またはマルチリージョン運用をする
11. ©Fusic Co., Ltd. 10 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより
12. ©Fusic Co., Ltd. 11 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより adaptive は、APIの混雑状況に応じて リトライ間隔を動的に延ばすモード
13. ©Fusic Co., Ltd. 12 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより Configに定義する
14. ©Fusic Co., Ltd. 13 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより
15. ©Fusic Co., Ltd. 14 まとめ 4
16. ©Fusic Co., Ltd. 15 まとめ マルチリージョンによって対策 Boto3のリトライ機能を使って対策 Point.01 Point.02
17. ©Fusic Co., Ltd. 16 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴いただきありがとうございました