DeepSeek-R1をカスタムモデルとしてAmazon Bedrockにインポートし活用

Transcript

1. AWS活用 AI/ML/LLM #2 大規模言語モデル(LLM)のモデル開発 DeepSeek-R1をカスタムモデルとして Amazon Bedrockにインポートし活用 株式会社BLUEISH 代表取締役CEO兼CTO 為藤アキラ @AkiraTameto
2. 為藤 アキラ (Akira Tameto) 株式会社BLUEISH 代表取締役 CEO兼CTO ・AWS歴12年 ・直近のAIプロジェクト 　 ・画像を中心とした機械学習とLLM のハイブリッドのアーキテクト 自己紹介
3. 今回のゴール ・Amazon Bedrockをカスタムモデルを構築すること
4. デモンストレーション
5. Hugging Face DeepSeek
6. DeepSeekのダウンロード pip install huggingface_hub from import model_id = (repo_id=model_id, local_dir=f ) huggingface_hub snapshot_download snapshot_download # model_id = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B" # snapshot_download(repo_id=model_id, local_dir=f"./DeepSeek-R1-Distill-Llama-8B") "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" "./DeepSeek-R1-Distill-Qwen-1.5B" 1.Huggingfaceからダウンロードを行うのでライブラリーのインストール 2.Huggingfaceからモデルをライブラリーのインストール
7. DeepSeekのダウンロード ダウンロード中 ダウンロードできている事を確認
8. モデルを格納する為のバケット作成
9. モデルを格納する為のバケット作成
10. モデルを格納する為のバケット作成
11. バケットにアップロード
12. バケットにアップロード
13. バケットにアップロード
14. バケットにアップロード
15. モデルのインポート
16. モデルのインポート
17. モデルのインポート
18. モデルのインポート
19. モデルのインポート
20. モデルのインポート
21. モデルのインポート
22. モデルのインポート
23. InvokeModel APIで実行
24. InvokeModel APIで実行
25. InvokeModel APIで実行 import import = . = = = \n
 = . = = = =2 = json
 boto3

 client boto3 ( )

 model_id prompt formatted_prompt prompt response client (
 modelId model_id,
 body json. (
 {
 :prompt,
 }
 ),
 )

 response_body json. (response[ ]. ())
 (json. (response_json, indent , ensure_ascii False)) client invoke_model dumps loads read print dumps "bedrock-runtime", region_name="us-east-1" "arn:aws:bedrock:us-west-1:{先ほどのモデル}"

 "東京都の歴史を説明してください"
 "prompt" "body" f"""<s>[INST] Human: { }[/INST]

 Assistant: """ 

26. InvokeModel APIで実行 { “generation”: “嗯，用户让我解释东京都的历史，我需要先理清思路。首先，东京都 现在是一个大都市，但它的历史可能从古代开始。我记得江户时代之前，东京可能只 是个小渔村或者不太重要的地方。然后德川家康在江户建立幕府，这应该是东京发展 的转折点。江户时代持续了大约260年，直到明治维新。明治时期，首都从京都迁到 江户，改名东京，成为日本的政治经济中心。接下来是近代的发展，关东大地震和二 战的影响可能也很重要，特别是战后重建和经济高速增长期。现在东京都是全球重要 的城市，可能还需要提到行政区划的变化，比如23特别区的设立。用户可能想知道关 键的历史事件和时期，以及它们如何塑造了今天的东京。需要确保时间线清晰，重要 事件不遗漏。可能还需要简要提到古代部分，比如平安时代或更早的时期，是否有相 关历史。另外，东京都的成立时间，可能是在1943年，合并了东京府和东京市。”
27. Hugging Face DeepSeek
28. Hugging Face サイバーエージェントさんのDeepSeek
29. Thank You!