Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Amazon Bedrock Custom model importを試してみる

Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
3
170

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/

Avatar for ttnyt8701

ttnyt8701

February 19, 2025
Tweet

More Decks by ttnyt8701

See All by ttnyt8701
Gemini CLI のはじめ方
Avatar for ttnyt8701 ttnyt8701
1
210
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
3
3.1k
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
2
340
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
3
550
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
340
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
4
290
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
2
430
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
2
91
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
Avatar for ttnyt8701 ttnyt8701
3
80

Other Decks in Programming

See All in Programming
Reactive Thinking with Signals and the new Resource API
Avatar for Manfred Steyer manfredsteyer
PRO
0
160
これだけで丸わかり！LangChain v1.0 アップデートまとめ
Avatar for os1ma os1ma
6
1.3k
connect-python: convenient protobuf RPC for Python
Avatar for Anuraag Agrawal anuraaga
0
360
新卒エンジニアのプルリクエスト with AI駆動
Avatar for Yuta Fukunaga fukunaga2025
0
150
大体よく分かるscala.collection.immutable.HashMap ~ Compressed Hash-Array Mapped Prefix-tree (CHAMP) ~
Avatar for matsu_chara matsu_chara
1
210
TypeScript 5.9 で使えるようになった import defer でパフォーマンス最適化を実現する
Avatar for おおいし bicstone
1
1k
AIコードレビューがチームの"文脈"を 読めるようになるまで
Avatar for Takumi Maruyama marutaku
0
310
【CA.ai #3】Google ADKを活用したAI Agent開発と運用知見
Avatar for Kazuki Hara harappa80
0
270
dnx で実行できるコマンド、作ってみました
Avatar for Tomohisa Takaoka tomohisa
0
140
How Software Deployment tools have changed in the past 20 years
Avatar for Geshan Manandhar geshan
0
28k
WebRTC、 綺麗に見るか滑らかに見るか
Avatar for sublimer sublimer
1
150
MAP, Jigsaw, Code Golf 振り返り会 by 関東Kaggler会|Jigsaw 15th Solution
Avatar for s.konishi hasibirok0
0
210

Featured

See All Featured
Reflections from 52 weeks, 52 projects
Avatar for Jefferson Lam jeffersonlam
355
21k
Raft: Consensus for Rubyists
Avatar for Patrick Van Stee vanstee
140
7.2k
VelocityConf: Rendering Performance Case Studies
Avatar for Addy Osmani addyosmani
333
24k
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
303
21k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
285
14k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
231
54k
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
9
700
Fashionably flexible responsive web design (full day workshop)
Avatar for Andy Clarke malarkey
407
66k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
17k
Building a Scalable Design System with Sketch
Avatar for Laura Van Doore lauravandoore
463
34k
The Language of Interfaces
Avatar for Des Traynor destraynor
162
25k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
Avatar for Kevin Liebholz kevinliebholz
36
6.2k

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ