Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Amazon Bedrock Custom model importを試してみる

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
370
3

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/

Avatar for ttnyt8701

ttnyt8701

February 19, 2025

More Decks by ttnyt8701

See All by ttnyt8701
ユーザーシュミレーション AIプロダクトのバグを事前検知
Avatar for ttnyt8701 ttnyt8701
0
19
Gemini CLI のはじめ方
Avatar for ttnyt8701 ttnyt8701
1
360
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
4
8.3k
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
3
510
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
3
800
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
510
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
4
490
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
2
600
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
3
290

Other Decks in Programming

See All in Programming
動画プレイヤーはなぜカクつくのか 〜Flutterのレンダリングとネイティブの境界を解剖する〜
Avatar for Naruo Yoshiki naruogram
0
320
Vapor Mode でアクセシビリティは 壊れないか検証した話
Avatar for fuqda fuqda
1
300
Getting Started with Vibe Coding
Avatar for Michael Cheng miccheng
0
140
SFCで実現する病院・医療システムの動的組み立て式UI
Avatar for kouki.miura koukimiura
1
160
flutter_test のその先へ — Flutter アプリの LLM 機能に「評価」という品質保証を
Avatar for Kosuke Saigusa kosukesaigusa
0
170
エージェントを使い続けるためのメタワーク / Meta-work for keeping using the agent
Avatar for r-kagaya rkaga
6
2.1k
AI駆動開発4年目の現在地（『あなたはFDEになるべきか？』イベント資料）
Avatar for 熊井悠 kumaiu
0
110
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
Avatar for Stelios Frantzeskakis steliosf
PRO
1
110
クラウドエージェントは、 何がそんなに便利なのか / what makes cloud agents so useful
Avatar for r-kagaya rkaga
5
670
Herb in Rails 8.2: Your ERB views, now HTML-aware @ Kaigi on Rails 2026, Tokyo, Japan
Avatar for Marco Roth marcoroth
2
380
baseline으로 마이그레이션, 리팩토링 안전하게 맡기기
Avatar for Sungyong An fornewid
1
800
HTML-in-Canvasで作る未来のWeb UI表現
Avatar for IKEDA Yasunobu clockmaker
5
6.1k

Featured

See All Featured
Public Speaking Without Barfing On Your Shoes - THAT 2023
Avatar for David Neal reverentgeek
1
650
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
270
14k
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
4k
GitHub's CSS Performance
Avatar for Jon Rohan jonrohan
1033
470k
CSS Pre-Processors: Stylus, Less & Sass
Avatar for Bermon Painter bermonpainter
360
31k
[RailsConf 2023] Rails as a piece of cake
Avatar for Vladimir Dementyev palkan
59
7.1k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
Avatar for Mine Cetinkaya-Rundel minecr
1
460
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
2
12k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
Avatar for Katarina Dahlin katarinadahlin
PRO
3
3.9k
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
516
110k
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
Avatar for David Carrasco davidcarrasco
0
290
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
340
58k

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ