Slide 1

Slide 1 text

Alexaに AWSの生成系AIを連携する 2023/07/25(火) JAWS-UG AI/ML #17 長田英幸

Slide 2

Slide 2 text

アジェンダ、注意事項 ①LT中「Alexa」と頻繁に発話するので、配信・動画を視聴されている方の お手元のAmazon Echoが起動する場合があります。何卒ご容赦ください。 ②LTの内容は、趣味の個人開発の内容です。 自己紹介 Alexaとは ChatGPT登場 AlexaにChatGPT APIを繋いだイメージ図 Alexaの8秒仕様 Amazon Bedrock Amazon SageMaker JumpStart AlexaTM (20b) アーキテクチャ図 AlexaTM 20Bをどこにデプロイするか オレゴンリージョンにデプロイ ノートブックを実行 AlexaTM 20Bに話しかける Alexaと連携 デモ動画 まとめ 告知

Slide 3

Slide 3 text

自己紹介 長田英幸(ながたひでゆき) 趣味で、スマートスピーカーAmazon Alexa等のスキルを、 個人開発しています。 大阪駆動開発というコミュニティに参加しています。 https://osaka-driven-dev.connpass.com/ デジタル総合印刷株式会社 https://www.dps-company.jp/ 印刷から始まった会社です。 マニュアルやドキュメント類の制作、 WEBパーツリスト等の業務システム開発、 3Dソリューションも扱っています。 求人:https://www.green-japan.com/company/8866 https://www.credly.com/users/hideyuki-nagata/badges

Slide 4

Slide 4 text

Alexaとは 千代田区 Alexa は、Amazon およびサードパーティのデバイス メーカーが提供する数億台のデバイスで利用できる Amazon のクラウドベースの音声サービスです。 Alexa is Amazon’s cloud-based voice service available on hundreds of millions of devices from Amazon and third-party device manufacturers. https://developer.amazon.com/en-US/alexa スマートホームの標準規格「Matter」 https://csa-iot.org/all-solutions/matter/ 海外では、Alexa Smart PropertiesやHey Disney https://developer.amazon.com/en-US/alexa/seniorliving https://youtu.be/iUwEQnYr1wY?t=52 https://developer.amazon.com/en-US/blogs/alexa/device- makers/2023/06/amazon-hey-disney-june-2023

Slide 5

Slide 5 text

世はまさに、大生成系AI時代 乗るしかない、このビッグウェーブに

Slide 6

Slide 6 text

AlexaにChatGPT APIを繋いだイメージ図 引用元: https://developer.amazon.com/ja-JP/docs/alexa/ask-overviews/what-is-the-alexa-skills-kit.html 8秒の壁 ChatGPT API Alexa-hostedスキル作成 → Alexaの8秒仕様 6 Alexa-hostedスキル・・・Alexaアカウントのみで、AWS Lambda、Amazon S3バケット、Amazon DynamoDBテーブル等が設定済みで用意される。 https://developer.amazon.com/ja-JP/docs/alexa/hosted-skills/build-a-skill-end-to-end-using-an-alexa- hosted-skill.html

Slide 7

Slide 7 text

Alexaの8秒仕様 Alexaはタイムアウトする前に8秒間応答を待ちます。 https://developer.amazon.com/ja-JP/docs/alexa/device-apis/ja-alexa-response.html 他社のサービスを使うからそもそも悪いのではないか。 AWS純正のAIサービスと連携させれば、レスポンスが早くなる方法があるかも、と考えました。 systemロールで、 「100文字程度」と指定しない と・・・ CloudWatchのログに、 「Task timed out after 8.01 seconds」と 出力されるエラーで異常終了してしまう。

Slide 8

Slide 8 text

Amazon Bedrock は、主要な AI スタートアップや Amazon の FM を API 経由で利用できる ようにするフルマネージド型サービスです。 https://aws.amazon.com/jp/bedrock/ ※ 2023/7/23 現在 Amazon Bedrockは、GAしていません。

Slide 9

Slide 9 text

Amazon SageMaker JumpStart 機械学習 (ML) のハブとして、基盤モデル、組み込みアルゴリズム、および数回のクリックで デプロイできる事前構築済みの機械学習ソリューション https://aws.amazon.com/jp/sagemaker/jumpstart/

Slide 10

Slide 10 text

AlexaTM (20b) Alexa Teacher Model 20 Billion (AlexaTM 20B) 20 Billionは、200億 200億パラメータの生成モデル、との事でした。 このノートブックは、Amazon_JumpStart_AlexaTM_20B.ipynb JumpStart API で AlexaTM 20B モデルを使用する方法をデモします。モデルをデプロイして推論を実 行する方法を示します。また、AlexaTM 20B モデルを 5 つのタスク例 (i) テキスト 要約、(ii) 自然言語生成、(iii) 機械翻訳、(iv) 抽出的質問応答、および (v) 自然言語 推論と分類を使用してインコンテキスト学習にどのように使用できるかを示します。 https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart_alexatm20b https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning

Slide 11

Slide 11 text

アーキテクチャ図 AWS Cloud AWS STS Amazon SageMaker AWS Security Token Service (AWS STS)で、AlexaアカウントのLambdaを認証しました。

Slide 12

Slide 12 text

AlexaTM 20Bをどこにデプロイするか Amazon SageMaker の料金 https://aws.amazon.com/jp/sagemaker/pricing/ オレゴンリージョンだと 0.23USD/時間 東京リージョンだと 0.298USD/時間 オレゴンリージョンで24時間稼働させた場合、 1USD=140円とすると、0.23×24×140=772.8円 半日しない内にアラートメールが飛びました。 料金の計算方法が難しいです。

Slide 13

Slide 13 text

オレゴンリージョンにデプロイ Amazon SageMaker > JumpStart > Foundation models Amazon モデルの「AlexaTM 20B」で「表示モデル」を押下 SageMakerドメインを作成 > 高速セットアップ(1分) 画面左側で、JumpStartを選んでAlexaで検索 「View notebook」押下

Slide 14

Slide 14 text

ノートブックを実行 「Import notebook」押下 Spinning up the endpoint. This will take a little while エンドポイントをスピンアップします。 これには少し時間がかかります ※ 最後、終わったら以下を実行します。

Slide 15

Slide 15 text

AlexaTM 20Bに話しかける

Slide 16

Slide 16 text

Alexaと連携

Slide 17

Slide 17 text

Alexaと連携

Slide 18

Slide 18 text

デモ動画 YouTubeショート動画にアップロードしました。 https://youtube.com/shorts/uhY0komLxuY?feature=share

Slide 19

Slide 19 text

まとめ Amazon SageMaker JumpStartの料金計算方法の理解が必要である。 Amazon SageMaker JumpStartのAPIの接続が一筋縄で行かず、かなり 難しかった。 サーバーレス推論にも挑戦したい。 AlexaTM 20Bが思ったような返事が返ってこなかった。 Amazon BedrockのGA、待ち遠しいです!

Slide 20

Slide 20 text

告知 https://osaka-driven-dev.connpass.com/event/289794/ ご清聴、ありがとうございました。