Amazon Bedrockと Amazon QでAIを身近に 江別AI勉強会 Vol.10 2024年7月25日 (木) 株式会社コールド・フュージョン テッダー　マイケル

$ whoami { "名前": "テッダー　マイケル", "住まい": "札幌", "仕事": "リアルタイム3Dゲームエンジン開発を専門とするゲームクリエイター", "コミュニティ活動": [ "JAWS-UG GameTech専門支部運営", "JAWS-UG札幌運営", "AWSコミュニティビルダー (5年目)" ], "趣味": [ "ゲーム (遊ぶ側)", "燻製作り", "スキューバ" ], "できること": [ "スマホ+Nintendo Switchのマルチプラットフォームゲーム開発", "サーバーレスアーキテクチャでバックエンドAPI開発", "コンテナー運用 (Docker)", "DevOps (CI/CD)" ], "好きな言語": [ "C++17", "GLSL", "PHP", "TypeScript", "ASM (x64/ARM/6502/MIPS)" ], "好きなAWSサービス": "Lambda" }

今日お話しすること ● Amazon Bedrockとは ○ 対応モデル ○ Playground ○ RAGとナレッジベース ● Amazon Qとは ○ Amazon Q Business ○ Amazon Q Developer ● Q & A / ライブデモ

Amazon Bedrockとは

Amazon Bedrock ● AWSが提供している生成AIサービス ● 開発者向けでAPIとして利用

Amazon Bedrock ● AWSが提供している生成AIサービス ● 開発者向けでAPIとして利用 $ aws bedrock-runtime invoke-model --model-id meta.llama3-1-70b-instruct-v1:0 --body "{\"prompt\":\" [INST]Please simplify all responses and use Japanese for all conversation.[/INST] 富 士山とスカイツリーの高さを比較し、どっちの方が高いかを教えてください。 \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" --cli-binary-format raw-in-base64-out --region us-west-2 --profile mtedder out.txt { "contentType": "application/json" } $ cat out.txt {"generation":"[/INST]\n富士山の高さは3776メートルです。スカイツリーの高さは634メートルです。富 士山の方が高くなります。 [/INST]","prompt_token_count":42,"generation_token_count":44,"stop_reason":"stop"}

Amazon Bedrockの対応モデル AI21 Labs ● Jamba-Instruct ● Jurassic-2 Ultra ● Jurassic-2 Mid Amazon ● Titan Embeddings G1 - Text ● Titan Text G1 - Premier ● Titan Text G1 - Lite ● Titan Text G1 - Express ● Titan Image Generator G1 ● Titan Multimodal Embeddings G1 ● Titan Text Embeddings V2 Anthropic ● Claude 3.5 Sonnet (6月20日 GA) ● Claude 3 Opus ● Claude 3 Sonnet ● Claude 3 Haiku ● Claude ● Claude Instant Cohere ● Command R+ ● Command R ● Embed English ● Embed Multilingual ● Command ● Command Light Meta ● Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) ● Llama 3 8B / 70B Instruct ● Llama 2 Chat 13B / 70B ● Llama 2 13B / 70B Mistral ● Mistral Large 2 (24.07) (NEW! 7月25日 GA) ● Mistral Large 24.02 ● Mistral 7B / Mixtral 8x7B Instruct ● Mistral Small Stability AI ● SDXL 1.0

Cohere ● Command R+ ● Command R ● Embed English ● Embed Multilingual ● Command ● Command Light Meta ● Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) ● Llama 3 8B / 70B Instruct ● Llama 2 Chat 13B / 70B ● Llama 2 13B / 70B Mistral ● Mistral Large 2 (24.07) (NEW! 7月25日 GA) ● Mistral Large 24.02 ● Mistral 7B / Mixtral 8x7B Instruct ● Mistral Small Stability AI ● SDXL 1.0 Amazon Bedrockの対応モデル AI21 Labs ● Jamba-Instruct ● Jurassic-2 Ultra ● Jurassic-2 Mid Amazon ● Titan Embeddings G1 - Text ● Titan Text G1 - Premier ● Titan Text G1 - Lite ● Titan Text G1 - Express ● Titan Image Generator G1 ● Titan Multimodal Embeddings G1 ● Titan Text Embeddings V2 Anthropic ● Claude 3.5 Sonnet (6月20日 GA) ● Claude 3 Opus ● Claude 3 Sonnet ● Claude 3 Haiku ● Claude ● Claude Instant 凡例 ● チャット・テキスト生成 ● テキストとビジョン ● 画像生成 ● 埋め込み

Playground（チャット） ● 会話式（ChatGPT風）のやりとり ● コンテキストを継続的に持つ

Playground（チャット/ビジョン） ● 画像認識しプロンプトに対して回答

Playground（テキスト） ● 1回だけの長い文字生成 / 翻訳 / プロンプト制作に使う

Playground（テキスト） ● 1回だけの長い文字生成 / 翻訳 / プロンプト制作に使う

実際コンパイルしてみた... ● warning: class内の変数を直接初期化かけていた →　static constexprに変更 ● error: accumulateという関数が完全に抜けていた →　なんとなく意味はわかったので自分で追加

ちゃんと遊べた！

Playground（イメージ） ● 1024x1024の高解像度の画像を生成

Playground（イメージ） ● 1024x1024の高解像度の画像を生成

RAGとナレッジベース ● Retrieval Augmented Generation (検索拡張生成) ● AIモデルに無い情報を外部データに検索させる機能 ● Bedrockでは「ナレッジベース」でサポート

Amazon Qとは

Amazon Q Business ● 企業の自社データを学習させ、質問に対して回答 ○ 社内のためのチャットボット ● データは AWS (S3 / RDSなど)、Gmail、Google Drive、 JIRA、Teams、Slackなどと接続が可能 ● 「〇〇商品の昨年と今年の売り上げを比較して」→ 「売り上げが5月に下がってるのはなぜですか」 という分析系な質問が可能 ● 「10年以上の経験を必要とするシニアプロダクトマネー ジャーの求人広告を作成して」→ 「求人広告を宣伝するためSNS投稿の文章を作成して」 のも可能

Amazon Q Developer ● AWSを利用した開発の手助け機能 ● Visual Studio / Visual Studio Codeのプラグインでコー ド書いてる最中に推測する ● ソースコードの言語変換・更新 ○ Java 8・11からJava 17への自動アップグレード ○ PythonのスクリプトをTypeScriptに変換 ○ などなど ● チャットの質問形式も可能

Amazon Q Developer

Amazon Q Developer

Q & A / ライブデモ

ご清聴ありがとうございます！