Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Custom model importを試してみる
Search
ttnyt8701
February 19, 2025
Programming
3
120
Amazon Bedrock Custom model importを試してみる
【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/
ttnyt8701
February 19, 2025
Tweet
Share
More Decks by ttnyt8701
See All by ttnyt8701
Gemini CLI のはじめ方
ttnyt8701
1
140
ObsidianをMCP連携させてみる
ttnyt8701
3
880
Claude Codeの使い方
ttnyt8701
2
240
FastMCPでMCPサーバー/クライアントを構築してみる
ttnyt8701
3
210
LangChain Open Deep Researchとは?
ttnyt8701
2
170
Vertex AI Agent Builderとは?
ttnyt8701
4
190
A2A(Agent2Agent )とは?
ttnyt8701
2
370
Amazon Bedrock LLM as a Judgeを試す
ttnyt8701
2
52
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
ttnyt8701
3
71
Other Decks in Programming
See All in Programming
ワープロって実は計算機で
pepepper
2
1.4k
デザインシステムが必須の時代に
yosuke_furukawa
PRO
2
130
Updates on MLS on Ruby (and maybe more)
sylph01
1
160
A Gopher's Guide to Vibe Coding
danicat
0
190
AIコーディングAgentとの向き合い方
eycjur
0
250
Jakarta EE Core Profile and Helidon - Speed, Simplicity, and AI Integration
ivargrimstad
0
260
[FEConf 2025] 모노레포 절망편, 14개 레포로 부활하기까지 걸린 1년
mmmaxkim
0
1.4k
【第4回】関東Kaggler会「Kaggleは執筆に役立つ」
mipypf
0
950
Flutter로 Gemini와 MCP를 활용한 Agentic App 만들기 - 박제창 2025 I/O Extended Seoul
itsmedreamwalker
0
160
個人軟體時代
ethanhuang13
0
260
実用的なGOCACHEPROG実装をするために / golang.tokyo #40
mazrean
1
120
Kiroで始めるAI-DLC
kaonash
2
430
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Automating Front-end Workflow
addyosmani
1370
200k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
We Have a Design System, Now What?
morganepeng
53
7.8k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
How to Think Like a Performance Engineer
csswizardry
26
1.8k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Documentation Writing (for coders)
carmenintech
73
5k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Transcript
Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.
All rights reserved.
立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All
rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい! 👉Amazon Bedrock Custom
Model Importで実現できます
©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock
Custom Model Import とは
- オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS
のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点
©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral
- Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)
©BLUEISH 2024. All rights reserved. - カスタムモデルユニット:インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5
分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系
©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを7分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785
カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数:1 推論コスト:0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト:1.95 * 8 = $15.6 / 月
Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ
©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる! まとめ