Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Custom model importを試してみる
Search
ttnyt8701
February 19, 2025
Programming
2
50
Amazon Bedrock Custom model importを試してみる
ttnyt8701
February 19, 2025
Tweet
Share
More Decks by ttnyt8701
See All by ttnyt8701
Prompt Cachingは本当に効果的なのか検証してみた.pdf
ttnyt8701
1
630
Other Decks in Programming
See All in Programming
sappoRo.R #12 初心者セッション
kosugitti
0
260
技術を根付かせる / How to make technology take root
kubode
1
250
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
660
PRレビューのお供にDanger
stoticdev
1
200
責務と認知負荷を整える! 抽象レベルを意識した関心の分離
yahiru
8
1.1k
第3回関東Kaggler会_AtCoderはKaggleの役に立つ
chettub
3
1.1k
Honoのおもしろいミドルウェアをみてみよう
yusukebe
1
210
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
3
1.8k
PHP ステートレス VS ステートフル 状態管理と並行性 / php-stateless-stateful
ytake
0
110
楽しく向き合う例外対応
okutsu
0
460
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
4
870
ファインディLT_ポケモン対戦の定量的分析
fufufukakaka
0
840
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Unsuck your backbone
ammeep
669
57k
Building Applications with DynamoDB
mza
93
6.2k
The Pragmatic Product Professional
lauravandoore
32
6.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
The Invisible Side of Design
smashingmag
299
50k
Designing for Performance
lara
604
68k
Transcript
Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.
All rights reserved.
立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All
rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい! 👉Amazon Bedrock Custom
Model Importで実現できます
©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock
Custom Model Import とは
- オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS
のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点
©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral
- Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)
©BLUEISH 2024. All rights reserved. - カスタムモデルユニット:インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5
分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系
©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを7分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785
カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数:1 推論コスト:0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト:1.95 * 8 = $15.6 / 月
Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ
©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる! まとめ