Tweet
Tweet

Slide 1

Slide 1 text

©Fusic Co., Ltd. 1 #FESPDLͷ5PP.BOZ3FRVFTUղܾͯ͠Έͨ 2024.4.22 苑⽥ 朝彰 @sonoda_mj Bedrock Claude Night

Slide 2

Slide 2 text

©Fusic Co., Ltd. 2 苑⽥ 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 Community Builders(ML & GenAI) 最近AWS StepFunctionsにハマってる ⾃⼰紹介 はじめに 株式会社Fusic

Slide 3

Slide 3 text

©Fusic Co., Ltd. 3 CONTENTS ⽬次 1. 背景 2. エラーが発⽣する原因 3. Too Many Requestの解決⽅法 4. まとめ

Slide 4

Slide 4 text

©Fusic Co., Ltd. 4 背景 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 5 Fusicの公開情報から構成されるRAG Fusic-RAG メンバー紹介 ニュース 開発事例 その他

Slide 6

Slide 6 text

©Fusic Co., Ltd. 6 Fusic-RAGの構成図 ストリーミング

Slide 7

Slide 7 text

©Fusic Co., Ltd. 7 Fusic-RAG アクセスが集中 Amazon Bedrock 新しい情報！ 検索してみよう！

Slide 8

Slide 8 text

©Fusic Co., Ltd. 8 Fusic-RAG Too Many Request Amazon Bedrock アクセス多すぎ

Slide 9

Slide 9 text

©Fusic Co., Ltd. 9 Fusic-RAG

Slide 10

Slide 10 text

©Fusic Co., Ltd. 10 エラーが発⽣する原因 2

Slide 11

Slide 11 text

©Fusic Co., Ltd. 11 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException • ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html

Slide 12

Slide 12 text

©Fusic Co., Ltd. 12 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException • ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html

Slide 13

Slide 13 text

©Fusic Co., Ltd. 13 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 合計500万Token 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html

Slide 14

Slide 14 text

©Fusic Co., Ltd. 14 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 合計500万Token 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html

Slide 15

Slide 15 text

©Fusic Co., Ltd. 15 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html Token送りすぎや

Slide 16

Slide 16 text

©Fusic Co., Ltd. 16 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html ServiceQuotaExceeded Exception

Slide 17

Slide 17 text

©Fusic Co., Ltd. 17 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock めっちゃアクセス 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html

Slide 18

Slide 18 text

©Fusic Co., Ltd. 18 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock ⼀気に送りすぎ ちょっと待ってくれ 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html

Slide 19

Slide 19 text

©Fusic Co., Ltd. 19 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock ThrottlingException 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html

Slide 20

Slide 20 text

©Fusic Co., Ltd. 20 Too Many Requestの解決⽅法 3

Slide 21

Slide 21 text

©Fusic Co., Ltd. 21 リトライ機構を作る Amazon Bedrock アクセス（n回） エラー

Slide 22

Slide 22 text

©Fusic Co., Ltd. 22 リトライ機構を作る

Slide 23

Slide 23 text

©Fusic Co., Ltd. 23 リトライ機構を作る リトライ回数 Bedrockの処理 指数バックオフ 1回につき2^(retry_count – 1) 遅らせる

Slide 24

Slide 24 text

©Fusic Co., Ltd. 24 Bedrockを使⽤するリージョンを分散する 引⽤：https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/quotas.html

Slide 25

Slide 25 text

©Fusic Co., Ltd. 25 １つのリージョン使⽤する場合 Bedrockを使⽤するリージョンを分散する Amazon Bedrock us-west-2

Slide 26

Slide 26 text

©Fusic Co., Ltd. 26 ３つのリージョン使⽤する場合 Bedrockを使⽤するリージョンを分散する Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 User ランダムに アクセスする

Slide 27

Slide 27 text

©Fusic Co., Ltd. 27 現在使⽤できるClaude3リスト モデル名 us-east-1 （バージニア北部） us-west-2 （オレゴン） ap-southeast-2 （シドニー） Claude3 Haiku ○ ○ ○ Claude3 Sonnet ○ ○ ○ Claude3 Opus × ○ ×

Slide 28

Slide 28 text

©Fusic Co., Ltd. 28 現在使⽤できるClaude3リスト モデル名 us-east-1 （バージニア北部） us-west-2 （オレゴン） ap-southeast-2 （シドニー） Claude3 Haiku ○ ○ ○ Claude3 Sonnet ○ ○ ○ Claude3 Opus × ○ × リージョンによる 分散ができない （2024/04/22時点）

Slide 29

Slide 29 text

©Fusic Co., Ltd. 29 マルチアカウントにしてもThrottlingExceptionが減ることは無かった マルチアカウントで使⽤した場合 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 User AWS account 1 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account 2 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account n ・・・

Slide 30

Slide 30 text

©Fusic Co., Ltd. 30 プロビジョンドを使⽤する（最終⼿段） 引⽤：https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/prov-throughput.html

Slide 31

Slide 31 text

©Fusic Co., Ltd. 31 今稼働している構成図

Slide 32

Slide 32 text

©Fusic Co., Ltd. 32 今稼働している構成図 リトライ機能 追加 マルチリージョン で使⽤

Slide 33

Slide 33 text

©Fusic Co., Ltd. 33 まとめ リトライ機構を構築することで、Too Many Requestを解決できた。 Point 01 リージョンを複数使⽤し分散することで、Too Many Requestを解決できた。 Point 02 プロビジョンドを使⽤することで、 Too Many Requestを解決できる（かもしれない） Point 03

Slide 34

Slide 34 text

©Fusic Co., Ltd. 34 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴いただきありがとうございました