Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Amazon Bedrock Custom model importを試してみる

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
350
3

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/

Avatar for ttnyt8701

ttnyt8701

February 19, 2025

More Decks by ttnyt8701

See All by ttnyt8701
ユーザーシュミレーション AIプロダクトのバグを事前検知
Avatar for ttnyt8701 ttnyt8701
0
14
Gemini CLI のはじめ方
Avatar for ttnyt8701 ttnyt8701
1
340
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
4
8.1k
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
3
500
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
3
780
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
510
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
4
470
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
2
580
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
3
280

Other Decks in Programming

See All in Programming
ゲームコントローラやキーボードのファームウェアをSwiftで書く
Avatar for Kishikawa Katsumi kishikawakatsumi
1
270
プロダクトコードからライブラリの境界を見つける
Avatar for elmetal elmetal
PRO
0
100
技術的負債の返済は、AI時代の複利で効く投資 — 経営としての意思決定とその遂行
Avatar for curekoshimizu curekoshimizu
1
2.2k
Starting & Sustaining Code-Based E2E Testing for Non-Coding QA Teams( #jasstniigata )
Avatar for teyamagu teyamagu
PRO
1
900
setup-vp GitLab対応の裏側
Avatar for Naoki Haba naokihaba
0
150
App Storeの外へ──日本のiOSサイドローディング入門 for iOSDC Japan 2026
Avatar for 野瀬田　裕樹 yuukiw00w
0
300
GemmaをJevのように使ってみる / Use Gemma like Jev
Avatar for Naoki Kishida kishida
5
640
Java 27新機能 / Java 27 new features
Avatar for Naoki Kishida kishida
2
200
パズルゲームの作り方 / how to make puzzle games
Avatar for kaityo256 kaityo256
PRO
2
270
Unity6 URPによる海底をテーマにしたVJシステムの解説 | Unity Shader 完全に理解した 勉強会
Avatar for がむ gam0022
0
320
速く作れる。その次は、速く確かめられる開発へ 〜AIネイティブ開発を支える、Shift Down〜 / Can build fast. Next, moving to development where we can verify fast.
Avatar for r-kagaya rkaga
8
5.5k
APNsからLive Activityを開始する話
Avatar for Ryotaro Onoue yumnumm
0
150

Featured

See All Featured
Are puppies a ranking factor?
Avatar for Jono Alderson jonoalderson
2
4k
Building Experiences: Design Systems, User Experience, and Full Site Editing
Avatar for Michelle Schulp Hunt marktimemedia
1
620
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
18k
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
2
11k
Ethics towards AI in product and experience design
Avatar for Skipper Chong Warson skipperchong
2
410
AI in Enterprises - Java and Open Source to the Rescue
Avatar for ivargrimstad ivargrimstad
0
1.5k
My Coaching Mixtape
Avatar for mlcsv mlcsv
0
340
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
Avatar for Eileen M. Uchitelle eileencodes
141
35k
The browser strikes back
Avatar for Jono Alderson jonoalderson
0
1.8k
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
27k
SEO Brein meetup: CTRL+C is not how to scale international SEO
Avatar for Linda Hogenes lindahogenes
2
2.9k
The SEO Collaboration Effect
Avatar for Kristina Bergwall kristinabergwall1
1
590

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ