Upgrade to Pro — share decks privately, control downloads, hide ads and more …

BedrockのToo Many Request解決してみた

そのだ
April 22, 2024
1k

BedrockのToo Many Request解決してみた

【connpass】
Bedrock Claude Night(JAWS-UG AI/ML支部 × 東京支部コラボ)
https://jawsug-ai.connpass.com/event/313318/

そのだ

April 22, 2024
Tweet

Transcript

  1. ©Fusic Co., Ltd. 2 苑⽥ 朝彰 Sonoda Tomotada - X:

    sonoda_mj - 2023 AWS Jr.Champions - 2024 Community Builders(ML & GenAI) 最近AWS StepFunctionsにハマってる ⾃⼰紹介 はじめに 株式会社Fusic
  2. ©Fusic Co., Ltd. 11 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException •

    ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html
  3. ©Fusic Co., Ltd. 12 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException •

    ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html
  4. ©Fusic Co., Ltd. 18 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock ⼀気に送りすぎ ちょっと待ってくれ

    引⽤:https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
  5. ©Fusic Co., Ltd. 27 現在使⽤できるClaude3リスト モデル名 us-east-1 (バージニア北部) us-west-2 (オレゴン)

    ap-southeast-2 (シドニー) Claude3 Haiku ◦ ◦ ◦ Claude3 Sonnet ◦ ◦ ◦ Claude3 Opus × ◦ ×
  6. ©Fusic Co., Ltd. 28 現在使⽤できるClaude3リスト モデル名 us-east-1 (バージニア北部) us-west-2 (オレゴン)

    ap-southeast-2 (シドニー) Claude3 Haiku ◦ ◦ ◦ Claude3 Sonnet ◦ ◦ ◦ Claude3 Opus × ◦ × リージョンによる 分散ができない (2024/04/22時点)
  7. ©Fusic Co., Ltd. 29 マルチアカウントにしてもThrottlingExceptionが減ることは無かった マルチアカウントで使⽤した場合 Amazon Bedrock us-west-2 Amazon

    Bedrock us-east-1 Amazon Bedrock ap-southeast-2 User AWS account 1 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account 2 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account n ・・・
  8. ©Fusic Co., Ltd. 33 まとめ リトライ機構を構築することで、Too Many Requestを解決できた。 Point 01

    リージョンを複数使⽤し分散することで、Too Many Requestを解決できた。 Point 02 プロビジョンドを使⽤することで、 Too Many Requestを解決できる(かもしれない) Point 03
  9. ©Fusic Co., Ltd. 34 Thank You We are Hiring! https://recruit.fusic.co.jp/

    ご清聴いただきありがとうございました