Share
Embed
【ショート版】 AWSを駆使して特許出願に至ったVUIの 「音声レビュー・ログデータ収集・分析システム」の話
AAJUG関東Vol.3で使用したスライドです。
AlexaDay2019のショート版+QuickSightの情報を追記しています。
show
May 10, 2019
Transcript
120 slides
-
2019/05/09 AAJUG 関東支部 Vol.3 - re:cap Alexa Day 2019@スペースアルファ三宮 【ショート版】
AWSを駆使して特許出願に至ったVUIの 「音声レビュー・ログデータ収集・分析システム」 の話 1 -
3つのコミュニティを運営中 7 ・Amazon Alexa Japan User Group (AAJUG) 関東支部 ・2019年から関東支部発足・主催
https://aajug.connpass.com/ ・3か月に1回開催、2019年3月で1周年 ・300人以上が集まる回もある https://kotodama.connpass.com/ ・2019年4月で8回目の開催 ・150人以上が集まる回もある https://iotlt.connpass.com/ #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 11 ※動いた段階の構成。現在は一部異なります。 #AAJUG -
2 件 っ て な ん だ よ ! ©
タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 25 -
2 件 っ て な ん だ っ た ん
だ よ ! © タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 30 #AAJUG -
コンセプト 42 ・API化 ・インテントの使用状況 ・★いくつ ・フリーコメント ・時間 ・カテゴリ ・作成ツール データ収集
・SQLで検索 ・BIツールでグラフ化 ・Webページに反映 分析・可視化 ・VUIでユーザが違和感 を持たない応答速度 ・プラットフォームに 依存しない設計 こだわり部分 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 46 ※動いた段階の構成。現在は一部異なります。 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 49 ※動いた段階の構成。現在は一部異なります。 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 アラート系は本質ではないので別として Amazon API Gateway AWS Lambda 50 アラート系 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 まずは登録部分 Amazon API Gateway AWS Lambda 51 アラート系 #AAJUG -
必要情報をいれるとSHAのIDを付与 52 Alexaスキル申請の情報入力を強く推奨 ・音声サービス名称(スキル名、アプリ名) 例:VUIあるある ・開発者名 例:surumegohan ・SHAユーザのメールアドレス1アカウント 例:[email protected] ・スキル開発に使用しているツール
例:Alexa Console+Lambda、ASK CLI .. #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 スキル作成時 Amazon API Gateway AWS Lambda 53 アラート系 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 API Gatewayの呼び出し Amazon API Gateway AWS Lambda 57 アラート系 #AAJUG -
59 各インテントの発話タイミング前等に含める スキルの特性により レビューやコメントの 実装は義務ではないですが ・LaunchRequest ・各種Intent ・STOP、CANCEL、HELP に入れてもらうと、呼び出された時間 や利用状況のログを公平に比較できる
逆にインチキしてそうなスキルは報告 してくれればSHAから外すなどの対 応をする予定 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Amazon Kinesis Firehose S3
bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Cognitoなりアカウントリンクなりも検討した Amazon API Gateway AWS Lambda 61 Amazon Cognito #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 なのでレスポンスとデータ格納を分割する Amazon API Gateway AWS Lambda 66 アラート系 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 データ格納箇所 Amazon API Gateway AWS Lambda 67 アラート系 #AAJUG -
案2 76 ※公式ページの説明文 AWS Glue は抽出、変換、ロード (ETL) を行う完全マネージド型のサービスで、 お客様の分析用データの準備とロードを簡単にします。 AWS
Glue Glueをかませればいけるか!? #AAJUG -
Athena案 維持費は最安値の可能性 83 Amazon Kinesis Firehose S3 bucket AWS Lambda
Parquet形式変換 Amazon Athena 検索 Amazon QuickSight #AAJUG -
Athena案 けども・・ 84 Amazon Kinesis Firehose S3 bucket AWS Lambda
Parquet形式変換 Amazon Athena ここに お金がかかる 検索 Amazon QuickSight #AAJUG -
Athena案 けども・・ 85 Amazon Kinesis Firehose S3 bucket AWS Lambda
Parquet形式変換 Amazon Athena ここに お金がかかる 検索 どのように分析されるか未知数 であるためパーティション化が難しい Amazon QuickSight #AAJUG -
案4 はじめからRedShift 90 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、
人気度(AlexaのsessionId)を それぞれ独立列で管理できる #AAJUG -
案4 はじめからRedShift 91 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、
人気度(AlexaのsessionId)を それぞれ独立列で管理できる ・きちんと設計すれば速い → ショートクエリ判断、リザルトキャッシュ etc #AAJUG -
結果、素直にFirehoseからRedShift 92 Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon API Gateway AWS Lambda 92 アラート系 #AAJUG -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 分析画面箇所 Amazon API Gateway AWS Lambda 93 アラート系 #AAJUG -
やるとしたら・・ 103 Amazon Redshift Amazon CloudWatch event (time-based) AWS Lambda
email notification Amazon SNS #AAJUG -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 110 #AAJUG -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 111 #AAJUG -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 112 #AAJUG -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 113 #AAJUG