Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20231027_Bedrock勉強会
Search
Kazuki Maeda
October 26, 2023
Technology
3
1.1k
20231027_Bedrock勉強会
https://minorun365.connpass.com/event/300097/
の登壇資料
Kazuki Maeda
October 26, 2023
Tweet
Share
More Decks by Kazuki Maeda
See All by Kazuki Maeda
20240416_devopsdaystokyo
kzkmaeda
1
320
20240321_生成AI時代のDevOps
kzkmaeda
2
870
20240222_LangChain_ver0.1.0_LCEL
kzkmaeda
4
310
20240201_クラウド利用料を 半額にするために取り組んだ10+のコト
kzkmaeda
4
6.5k
20231011_LangChainコントリビュートのすゝめ
kzkmaeda
0
1.1k
LangChain Japan MeetUp 2023-07-20
kzkmaeda
0
540
2023 AWS Dev Day コミュニティ紹介LT
kzkmaeda
0
130
Deep Dive into Momento with LangChain
kzkmaeda
1
300
App Runner Night 202305
kzkmaeda
2
540
Other Decks in Technology
See All in Technology
プレイドにおけるDatadog APMの活用方法
plaidtech
PRO
2
120
コンテナ・K8s研修 - 前半 コンテナ基礎・ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
AIアシスタントの活用で品質の向上と開発ワークフローのスピードアップ
nagix
1
190
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8k
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
Agile that works and the tools we love
rasmusluckow
325
20k
The Pragmatic Product Professional
lauravandoore
29
6.1k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Rails Girls Zürich Keynote
gr2m
93
13k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
How STYLIGHT went responsive
nonsquared
93
5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
Transcript
非BedrockアプリをBedrock して 開発観点で比較する AWSの生成AI「Amazon Bedrock」入門&LT会! 2023-10-27 @kzk_maeda
自己紹介 Kazuki Maeda 𝕏 @kzk_maeda SRE/DRE @atama plus AWS Community
Builders AWS Startup Community Core Member
自己紹介
agenda 1. 対象RAGアプリの紹介 2. Bedrockしてみる 3. Bedrock前後で比較 (開発運用面)
免責 • 2023/10/26時点での情報を元に作成しています
対象RAGアプリの紹介
そもそもRAGとは? • Retrieval Augmented Generationの略 • 外部の知識ソースを利用して大規模言語モデル(LLM)の回答の 質を向上させる手法
対象のRAGアプリ紹介
対象のRAGアプリ紹介 モニタリングツールに 対してエラー検索 エラーログから 既存チケットを検索
対象のRAGアプリ紹介 LLM部分は LangChain + OpenAI APIで実現
Bedrockしてみる
「Bedrockする」とは? • Bedrock以外のLLMツールセットを用いて実装されたアプリケー ションをBedrockに移行すること
「Bedrockする」ために必要なこと • コードを修正 • 実行環境のIAM RoleにPolicyをアタッチ • 以上!
「Bedrock」してみた • LangChainのバージョン上げてboto3への依存を追加
「Bedrock」してみた • メインの部分はほぼこれでOK
「Bedrock」してみた • メインの部分はほぼこれでOK OpenAIへの依存を削除 boto3でBedrockのclient を定義し、LangChainの Embeddingに渡す Embedding modelとして 提供されているtitan
v1を 指定
「Bedrock」してみた • 仕上げに権限と環境変数を変えてデプロイ
Bedrock前後で比較
開発環境 • Bedrockへの認証をIAM Roleに持たせることで、コードの外の責 務となり、ローカルで動作確認する際に一工夫が必要 • ローカルフラグ持たせて、boto3のsession/clientの切り替えをす ることを一瞬考えたけど、今回は面倒だったのでCloud9にしまし た
セキュリティ • LLM APIのクレデンシャルを管理しなくても良いというのはとても 嬉しい!!!! • 通信も、AWSのInternal Networkを出ないので、外部のLLM API を利用するよりはセキュアに利用できます
オブザーバビリティ • Cloudwatch等によるログ/メトリクスのモニタリングが可能 • ログはBedrockのModel invocation loggingから設定可能 • ただし、LangSmithには劣るので今後に期待
オブザーバビリティ Cloudwatch LangSmith
おわりに
まとめ • シンプルなRAGアプリにおいて、非BedrockアプリをBedrockする のは、LangChainが実装を抽象化してくれているので非常に簡単 でした • 運用やセキュリティに関する機能がAWSに寄せられるメリットは 大きいと感じました • Knowledge
BaseというネイティブRAGアプリサービスもPrivate Previewに入っていたり、まだまだ進化の激しい技術なので今後 もwatch必須ですね