Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Amazon BedrockとAmazon QでAIを身近に

Amazon BedrockとAmazon QでAIを身近に

A 30 minute presentation I gave at the 10th AI Study Group in Ebetsu (on 2024/7/25) introducing Amazon Bedrock and Amazon Q, along with demonstrating the latest Claude 3.5 and Llama 3.1 models.

https://ebetsu-ai.connpass.com/event/325418/

(Note: This presentation is only in Japanese, sorry.)

Michael Tedder

July 25, 2024
Tweet

More Decks by Michael Tedder

Other Decks in Technology

Transcript

  1. $ whoami { "名前": "テッダー マイケル", "住まい": "札幌", "仕事": "リアルタイム3Dゲームエンジン開発を専門とするゲームクリエイター", "コミュニティ活動":

    [ "JAWS-UG GameTech専門支部運営", "JAWS-UG札幌運営", "AWSコミュニティビルダー (5年目)" ], "趣味": [ "ゲーム (遊ぶ側)", "燻製作り", "スキューバ" ], "できること": [ "スマホ+Nintendo Switchのマルチプラットフォームゲーム開発", "サーバーレスアーキテクチャでバックエンドAPI開発", "コンテナー運用 (Docker)", "DevOps (CI/CD)" ], "好きな言語": [ "C++17", "GLSL", "PHP", "TypeScript", "ASM (x64/ARM/6502/MIPS)" ], "好きなAWSサービス": "Lambda" }
  2. 今日お話しすること • Amazon Bedrockとは ◦ 対応モデル ◦ Playground ◦ RAGとナレッジベース

    • Amazon Qとは ◦ Amazon Q Business ◦ Amazon Q Developer • Q & A / ライブデモ
  3. Amazon Bedrock • AWSが提供している生成AIサービス • 開発者向けでAPIとして利用 $ aws bedrock-runtime invoke-model

    --model-id meta.llama3-1-70b-instruct-v1:0 --body "{\"prompt\":\" [INST]Please simplify all responses and use Japanese for all conversation.[/INST] 富 士山とスカイツリーの高さを比較し、どっちの方が高いかを教えてください。 \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" --cli-binary-format raw-in-base64-out --region us-west-2 --profile mtedder out.txt { "contentType": "application/json" } $ cat out.txt {"generation":"[/INST]\n富士山の高さは3776メートルです。スカイツリーの高さは634メートルです。富 士山の方が高くなります。 [/INST]","prompt_token_count":42,"generation_token_count":44,"stop_reason":"stop"}
  4. Amazon Bedrockの対応モデル AI21 Labs • Jamba-Instruct • Jurassic-2 Ultra •

    Jurassic-2 Mid Amazon • Titan Embeddings G1 - Text • Titan Text G1 - Premier • Titan Text G1 - Lite • Titan Text G1 - Express • Titan Image Generator G1 • Titan Multimodal Embeddings G1 • Titan Text Embeddings V2 Anthropic • Claude 3.5 Sonnet (6月20日 GA) • Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude • Claude Instant Cohere • Command R+ • Command R • Embed English • Embed Multilingual • Command • Command Light Meta • Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) • Llama 3 8B / 70B Instruct • Llama 2 Chat 13B / 70B • Llama 2 13B / 70B Mistral • Mistral Large 2 (24.07) (NEW! 7月25日 GA) • Mistral Large 24.02 • Mistral 7B / Mixtral 8x7B Instruct • Mistral Small Stability AI • SDXL 1.0
  5. Cohere • Command R+ • Command R • Embed English

    • Embed Multilingual • Command • Command Light Meta • Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) • Llama 3 8B / 70B Instruct • Llama 2 Chat 13B / 70B • Llama 2 13B / 70B Mistral • Mistral Large 2 (24.07) (NEW! 7月25日 GA) • Mistral Large 24.02 • Mistral 7B / Mixtral 8x7B Instruct • Mistral Small Stability AI • SDXL 1.0 Amazon Bedrockの対応モデル AI21 Labs • Jamba-Instruct • Jurassic-2 Ultra • Jurassic-2 Mid Amazon • Titan Embeddings G1 - Text • Titan Text G1 - Premier • Titan Text G1 - Lite • Titan Text G1 - Express • Titan Image Generator G1 • Titan Multimodal Embeddings G1 • Titan Text Embeddings V2 Anthropic • Claude 3.5 Sonnet (6月20日 GA) • Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude • Claude Instant 凡例 • チャット・テキスト生成 • テキストとビジョン • 画像生成 • 埋め込み
  6. Amazon Q Business • 企業の自社データを学習させ、質問に対して回答 ◦ 社内のためのチャットボット • データは AWS

    (S3 / RDSなど)、Gmail、Google Drive、 JIRA、Teams、Slackなどと接続が可能 • 「〇〇商品の昨年と今年の売り上げを比較して」→ 「売り上げが5月に下がってるのはなぜですか」 という分析系な質問が可能 • 「10年以上の経験を必要とするシニアプロダクトマネー ジャーの求人広告を作成して」→ 「求人広告を宣伝するためSNS投稿の文章を作成して」 のも可能
  7. Amazon Q Developer • AWSを利用した開発の手助け機能 • Visual Studio / Visual

    Studio Codeのプラグインでコー ド書いてる最中に推測する • ソースコードの言語変換・更新 ◦ Java 8・11からJava 17への自動アップグレード ◦ PythonのスクリプトをTypeScriptに変換 ◦ などなど • チャットの質問形式も可能