Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Custom model importを試してみる
Search
ttnyt8701
February 19, 2025
Programming
2
100
Amazon Bedrock Custom model importを試してみる
【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/
ttnyt8701
February 19, 2025
Tweet
Share
More Decks by ttnyt8701
See All by ttnyt8701
Gemini CLI のはじめ方
ttnyt8701
1
90
ObsidianをMCP連携させてみる
ttnyt8701
2
210
Claude Codeの使い方
ttnyt8701
1
170
FastMCPでMCPサーバー/クライアントを構築してみる
ttnyt8701
2
160
LangChain Open Deep Researchとは?
ttnyt8701
2
110
Vertex AI Agent Builderとは?
ttnyt8701
3
130
A2A(Agent2Agent )とは?
ttnyt8701
1
320
Amazon Bedrock LLM as a Judgeを試す
ttnyt8701
1
32
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
ttnyt8701
2
65
Other Decks in Programming
See All in Programming
生成AI時代のコンポーネントライブラリの作り方
touyou
1
290
スタートアップの急成長を支えるプラットフォームエンジニアリングと組織戦略
sutochin26
1
7.3k
Startups on Rails in Past, Present and Future–Irina Nazarova, RailsConf 2025
irinanazarova
0
250
テストから始めるAgentic Coding 〜Claude Codeと共に行うTDD〜 / Agentic Coding starts with testing
rkaga
15
5.6k
フロントエンドのパフォーマンスチューニング
koukimiura
5
2k
NEWT Backend Evolution
xpromx
1
140
MCPを使ってイベントソーシングのAIコーディングを効率化する / Streamlining Event Sourcing AI Coding with MCP
tomohisa
0
170
RailsGirls IZUMO スポンサーLT
16bitidol
0
200
新メンバーも今日から大活躍!SREが支えるスケールし続ける組織のオンボーディング
honmarkhunt
5
8.7k
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
470
おやつのお供はお決まりですか?@WWDC25 Recap -Japan-\(region).swift
shingangan
0
140
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
nealle
2
12k
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Statistics for Hackers
jakevdp
799
220k
Scaling GitHub
holman
460
140k
GitHub's CSS Performance
jonrohan
1031
460k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
BBQ
matthewcrist
89
9.7k
Designing Experiences People Love
moore
142
24k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
The Cult of Friendly URLs
andyhume
79
6.5k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Documentation Writing (for coders)
carmenintech
72
4.9k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Transcript
Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.
All rights reserved.
立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All
rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい! 👉Amazon Bedrock Custom
Model Importで実現できます
©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock
Custom Model Import とは
- オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS
のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点
©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral
- Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)
©BLUEISH 2024. All rights reserved. - カスタムモデルユニット:インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5
分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系
©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを7分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785
カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数:1 推論コスト:0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト:1.95 * 8 = $15.6 / 月
Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ
©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる! まとめ