DeepSeek for Amazon Bedrock

JAWS-UG福岡 #19: re:Invent re:Cap!!

https://jawsug-fukuoka.connpass.com/event/341319/presentation/

Transcript

1. 2025/02/08 JAWS-UG福岡 #19: re:Invent re:Cap!! 森⽥⼒ DeepSeek for Amazon Bedrock
2. ⾃⼰紹介 •名前 • 森⽥ ⼒ •所属 • クラスメソッド株式会社 • クラウド事業本部 コンサルティング部 •出⾝‧住まい • 出⾝：熊本 • 現在：福岡 •好きなAWSサービス • AWS Lambda • Amazon Bedrock re:Invent2024 参加してきました！
3. DeepSeek-R1 使ってますか！？
4. 性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS DeepSeek-R1 参考：https://api-docs.deepseek.com/news/news250120
5. 性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS → AWSでも使えるようにしたい！ DeepSeek-R1 参考：https://api-docs.deepseek.com/news/news250120
6. AWSなら… Amazon Bedrock で使いたい
7. l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など Amazon Bedrock
8. l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など → DeepSeek 対応していない Amazon Bedrock
9. こんな時、どうしますか？
10. Amazon Bedrock Marketplace
11. l re:Invent 2024 で発表 l 基盤モデル以外を利⽤できるサービス l DeepSeek以外のモデルも利⽤可能 l 数クリックでデプロイ可能 l SageMaker エンドポイントにデプロイ l 利⽤料⾦ l Software cost（ライセンス） l インフラ（ SageMaker エンドポイント） Amazon Bedrock Marketplace ※ 2024/02/07時点
12. l デプロイ可能モデル l DeepSeek-R1, DeepSeek-R1蒸留モデル(Qwen, LLama) l 利⽤料⾦ l インフラ料⾦のみ Amazon Bedrock Marketplace での DeepSeek
13. 気になるセキュリティ
14. Amazon Bedrock セキュリティ l Amazon Bedrock では、プロンプトおよび AI のレスポンスを保存またはログに記 録することはありません。 l データがモデルプロバイダーと共有されたり、ベースモデルの改善に使⽤された りすることはありません。
15. モデル呼び出し
16. l プレイグラウンドでも利⽤可能 モデル呼び出し
17. • InvokeModel API で呼び出し l Streaming出⼒対応 l Converse API 未対応 l ApplyGuardrail API でガードレール利⽤可能 モデル呼び出し response = bedrock_runtime.invoke_model_with_response_stream( modelId='arn:aws:sagemaker:リージョン:アカウントID:endpoint/エンドポイント名’, body=json.dumps(request_body), contentType='application/json’, accept='application/json’, performanceConfigLatency='standard' )
18. カスタムモデルインポート
19. l re:Invent 2024 より前の10⽉にGA l Bedrock にモデルをインポート l モデルデータが必要 l サポートしているアーキテクチャのみ（llamaなど） l 利⽤料⾦ l Custom Model Unit（モデルに応じて異なる） l ストレージコスト カスタムモデルインポート
20. l メリット l Fine-tuningされたモデルも利⽤することができる l 例：蒸留モデルを独⾃データを使って学習させる l モデル推論時のカスタマイズができる l tokenizer_config.json で chat_templateの指定（Converse API対応） l デメリット l モデルのダウンロードが必要なため、時間を要する カスタムモデルインポート
21. ブログ書きました https://dev.classmethod.jp/articles/deepseek-amazon-bedrock-import/
22. まとめ
23. l DeepSeek を Amazon Bedrock 上で利⽤することはできます！ l サクッと試したいなら「Amazon Bedrock Marketplace」がおすすめ l 詳細にチューニングしたいなら「カスタムモデルインポート」 まとめ