Amazon Bedrockの「Too Many Requests」の対策を考える

by xthixsl_ml

Slide 1

Slide 1 text

©Fusic Co., Ltd. 0 Amazon Bedrockの「Too Many Requests」の対策を考える 2025.08.11 佐藤礼央奈 X: @xthixsl_ml JAWS-UG佐賀佐賀の中心でAWSを叫ぶ

Slide 2

Slide 2 text

©Fusic Co., Ltd. 1 自己紹介はじめに佐藤礼央奈 R E O N A S AT O 株式会社Fusic エンジニア東京の大学を卒業。在学中にエンジニアとして3社で約2年半の長期インターンを経験。機械学習や生成AIの研究開発に携わる中で、MLモデルの本番運用に興味を持ちMLOpsに関心を深める。生成AIを取り入れた開発や、AWSパートナー企業での経験から、同領域に強みを持つFusicに魅力を感じ、2025年に新卒入社。

Slide 3

Slide 3 text

©Fusic Co., Ltd. 2 1. 背景 2. 原因 3. 対策

Slide 4

Slide 4 text

©Fusic Co., Ltd. 3 背景 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 4 1.背景 • RAGの精度検証を行っていました • Boto3・RAGASを使ってRAGの検索・回答精度の検証 • 検証用のデータセット • 質問数 100個

Slide 6

Slide 6 text

©Fusic Co., Ltd. 5 1.背景 • RAGの精度検証を行っていました • Boto3・RAGASを使ってRAGの検索・回答精度の検証 • 検証用のデータセット • 質問数 100個

Slide 7

Slide 7 text

©Fusic Co., Ltd. 6 原因 2

Slide 8

Slide 8 text

©Fusic Co., Ltd. 7 2.原因 • クォータの上限に達している

Slide 9

Slide 9 text

©Fusic Co., Ltd. 8 対策 3

Slide 10

Slide 10 text

©Fusic Co., Ltd. 9 3.対策① • リージョンを変える、またはマルチリージョン運用をする

Slide 11

Slide 11 text

©Fusic Co., Ltd. 10 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより

Slide 12

Slide 12 text

©Fusic Co., Ltd. 11 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより adaptive は、APIの混雑状況に応じてリトライ間隔を動的に延ばすモード

Slide 13

Slide 13 text

©Fusic Co., Ltd. 12 3.対策② • Boto3のリトライ構文を使う https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.htmlより Configに定義する