Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Custom model importを試してみる
Search
ttnyt8701
February 19, 2025
Programming
2
87
Amazon Bedrock Custom model importを試してみる
【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/
ttnyt8701
February 19, 2025
Tweet
Share
More Decks by ttnyt8701
See All by ttnyt8701
ObsidianをMCP連携させてみる
ttnyt8701
2
150
Claude Codeの使い方
ttnyt8701
1
140
FastMCPでMCPサーバー/クライアントを構築してみる
ttnyt8701
2
140
LangChain Open Deep Researchとは?
ttnyt8701
2
82
Vertex AI Agent Builderとは?
ttnyt8701
3
110
A2A(Agent2Agent )とは?
ttnyt8701
1
300
Amazon Bedrock LLM as a Judgeを試す
ttnyt8701
1
27
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
ttnyt8701
2
61
Amazon SageMaker Lakehouseでデータのサイロ化による課題を解決する
ttnyt8701
1
33
Other Decks in Programming
See All in Programming
PHPでWebSocketサーバーを実装しよう2025
kubotak
0
160
すべてのコンテキストを、 ユーザー価値に変える
applism118
2
800
AIエージェントはこう育てる - GitHub Copilot Agentとチームの共進化サイクル
koboriakira
0
380
PostgreSQLのRow Level SecurityをPHPのORMで扱う Eloquent vs Doctrine #phpcon #track2
77web
2
340
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
1
400
Rubyでやりたい駆動開発 / Ruby driven development
chobishiba
1
400
Railsアプリケーションと パフォーマンスチューニング ー 秒間5万リクエストの モバイルオーダーシステムを支える事例 ー Rubyセミナー 大阪
falcon8823
4
950
XP, Testing and ninja testing
m_seki
3
190
Julia という言語について (FP in Julia « SIDE: F ») for 関数型まつり2025
antimon2
3
980
生成AIコーディングとの向き合い方、AIと共創するという考え方 / How to deal with generative AI coding and the concept of co-creating with AI
seike460
PRO
1
330
FormFlow - Build Stunning Multistep Forms
yceruto
1
190
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
320
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
93
6.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Code Review Best Practice
trishagee
68
18k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Writing Fast Ruby
sferik
628
61k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Designing for humans not robots
tammielis
253
25k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Why You Should Never Use an ORM
jnunemaker
PRO
57
9.4k
Transcript
Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.
All rights reserved.
立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All
rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい! 👉Amazon Bedrock Custom
Model Importで実現できます
©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock
Custom Model Import とは
- オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS
のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点
©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral
- Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)
©BLUEISH 2024. All rights reserved. - カスタムモデルユニット:インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5
分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系
©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを7分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785
カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数:1 推論コスト:0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト:1.95 * 8 = $15.6 / 月
Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ
©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる! まとめ