Upgrade to Pro — share decks privately, control downloads, hide ads and more …

JAWS-UG AI/ML #17 AlexaにAWSの生成系AIを連携する

JAWS-UG AI/ML #17 AlexaにAWSの生成系AIを連携する

JAWS-UG AI/ML #17 「AlexaにAWSの生成系AIを連携する」LTの資料です。
https://jawsug-ai.connpass.com/event/286453/

Amazon SageMaker JumpStartでAlexa Teacher Model 20 Billion (AlexaTM 20B)を動かし、Alexaに連携したデモ動画はこちらです。
https://www.youtube.com/shorts/uhY0komLxuY

Hideyuki Nagata

July 26, 2023
Tweet

More Decks by Hideyuki Nagata

Other Decks in Programming

Transcript

  1. Alexaに
    AWSの生成系AIを連携する
    2023/07/25(火) JAWS-UG AI/ML #17
    長田英幸

    View full-size slide

  2. アジェンダ、注意事項
    ①LT中「Alexa」と頻繁に発話するので、配信・動画を視聴されている方の
    お手元のAmazon Echoが起動する場合があります。何卒ご容赦ください。
    ②LTの内容は、趣味の個人開発の内容です。
    自己紹介
    Alexaとは
    ChatGPT登場
    AlexaにChatGPT APIを繋いだイメージ図
    Alexaの8秒仕様
    Amazon Bedrock
    Amazon SageMaker JumpStart
    AlexaTM (20b)
    アーキテクチャ図
    AlexaTM 20Bをどこにデプロイするか
    オレゴンリージョンにデプロイ
    ノートブックを実行
    AlexaTM 20Bに話しかける
    Alexaと連携
    デモ動画
    まとめ
    告知

    View full-size slide

  3. 自己紹介
    長田英幸(ながたひでゆき)
    趣味で、スマートスピーカーAmazon Alexa等のスキルを、
    個人開発しています。
    大阪駆動開発というコミュニティに参加しています。
    https://osaka-driven-dev.connpass.com/
    デジタル総合印刷株式会社
    https://www.dps-company.jp/
    印刷から始まった会社です。
    マニュアルやドキュメント類の制作、
    WEBパーツリスト等の業務システム開発、
    3Dソリューションも扱っています。
    求人:https://www.green-japan.com/company/8866
    https://www.credly.com/users/hideyuki-nagata/badges

    View full-size slide

  4. Alexaとは
    千代田区
    Alexa は、Amazon およびサードパーティのデバイス メーカーが提供する数億台のデバイスで利用できる
    Amazon のクラウドベースの音声サービスです。
    Alexa is Amazon’s cloud-based voice service available on hundreds of millions of devices from Amazon
    and third-party device manufacturers.
    https://developer.amazon.com/en-US/alexa
    スマートホームの標準規格「Matter」
    https://csa-iot.org/all-solutions/matter/
    海外では、Alexa Smart PropertiesやHey Disney
    https://developer.amazon.com/en-US/alexa/seniorliving
    https://youtu.be/iUwEQnYr1wY?t=52
    https://developer.amazon.com/en-US/blogs/alexa/device-
    makers/2023/06/amazon-hey-disney-june-2023

    View full-size slide

  5. 世はまさに、大生成系AI時代
    乗るしかない、このビッグウェーブに

    View full-size slide

  6. AlexaにChatGPT APIを繋いだイメージ図
    引用元:
    https://developer.amazon.com/ja-JP/docs/alexa/ask-overviews/what-is-the-alexa-skills-kit.html
    8秒の壁
    ChatGPT API
    Alexa-hostedスキル作成 → Alexaの8秒仕様
    6
    Alexa-hostedスキル・・・Alexaアカウントのみで、AWS Lambda、Amazon S3バケット、Amazon
    DynamoDBテーブル等が設定済みで用意される。
    https://developer.amazon.com/ja-JP/docs/alexa/hosted-skills/build-a-skill-end-to-end-using-an-alexa-
    hosted-skill.html

    View full-size slide

  7. Alexaの8秒仕様
    Alexaはタイムアウトする前に8秒間応答を待ちます。
    https://developer.amazon.com/ja-JP/docs/alexa/device-apis/ja-alexa-response.html
    他社のサービスを使うからそもそも悪いのではないか。
    AWS純正のAIサービスと連携させれば、レスポンスが早くなる方法があるかも、と考えました。
    systemロールで、
    「100文字程度」と指定しない
    と・・・
    CloudWatchのログに、
    「Task timed out after 8.01 seconds」と
    出力されるエラーで異常終了してしまう。

    View full-size slide

  8. Amazon Bedrock は、主要な AI スタートアップや Amazon の FM を API 経由で利用できる
    ようにするフルマネージド型サービスです。
    https://aws.amazon.com/jp/bedrock/
    ※ 2023/7/23 現在 Amazon Bedrockは、GAしていません。

    View full-size slide

  9. Amazon SageMaker JumpStart
    機械学習 (ML) のハブとして、基盤モデル、組み込みアルゴリズム、および数回のクリックで
    デプロイできる事前構築済みの機械学習ソリューション
    https://aws.amazon.com/jp/sagemaker/jumpstart/

    View full-size slide

  10. AlexaTM (20b)
    Alexa Teacher Model 20 Billion (AlexaTM 20B)
    20 Billionは、200億
    200億パラメータの生成モデル、との事でした。
    このノートブックは、Amazon_JumpStart_AlexaTM_20B.ipynb JumpStart API で
    AlexaTM 20B モデルを使用する方法をデモします。モデルをデプロイして推論を実
    行する方法を示します。また、AlexaTM 20B モデルを 5 つのタスク例 (i) テキスト
    要約、(ii) 自然言語生成、(iii) 機械翻訳、(iv) 抽出的質問応答、および (v) 自然言語
    推論と分類を使用してインコンテキスト学習にどのように使用できるかを示します。
    https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart_alexatm20b
    https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning

    View full-size slide

  11. アーキテクチャ図
    AWS Cloud
    AWS STS
    Amazon SageMaker
    AWS Security Token Service (AWS STS)で、AlexaアカウントのLambdaを認証しました。

    View full-size slide

  12. AlexaTM 20Bをどこにデプロイするか
    Amazon SageMaker の料金
    https://aws.amazon.com/jp/sagemaker/pricing/
    オレゴンリージョンだと 0.23USD/時間
    東京リージョンだと 0.298USD/時間
    オレゴンリージョンで24時間稼働させた場合、
    1USD=140円とすると、0.23×24×140=772.8円
    半日しない内にアラートメールが飛びました。
    料金の計算方法が難しいです。

    View full-size slide

  13. オレゴンリージョンにデプロイ
    Amazon SageMaker > JumpStart > Foundation models
    Amazon モデルの「AlexaTM 20B」で「表示モデル」を押下
    SageMakerドメインを作成 > 高速セットアップ(1分)
    画面左側で、JumpStartを選んでAlexaで検索
    「View notebook」押下

    View full-size slide

  14. ノートブックを実行
    「Import notebook」押下
    Spinning up the endpoint. This will take a little while
    エンドポイントをスピンアップします。 これには少し時間がかかります
    ※ 最後、終わったら以下を実行します。

    View full-size slide

  15. AlexaTM 20Bに話しかける

    View full-size slide

  16. Alexaと連携

    View full-size slide

  17. Alexaと連携

    View full-size slide

  18. デモ動画
    YouTubeショート動画にアップロードしました。
    https://youtube.com/shorts/uhY0komLxuY?feature=share

    View full-size slide

  19. まとめ
    Amazon SageMaker JumpStartの料金計算方法の理解が必要である。
    Amazon SageMaker JumpStartのAPIの接続が一筋縄で行かず、かなり
    難しかった。
    サーバーレス推論にも挑戦したい。
    AlexaTM 20Bが思ったような返事が返ってこなかった。
    Amazon BedrockのGA、待ち遠しいです!

    View full-size slide

  20. 告知
    https://osaka-driven-dev.connpass.com/event/289794/
    ご清聴、ありがとうございました。

    View full-size slide