Share
Embed
AWSを駆使して特許出願に至ったVUIの 「音声レビュー・ログデータ収集・分析システム」の話/Patent application system materials
show
April 06, 2019
Transcript
122 slides
-
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 12 ※動いた段階の構成。現在は一部異なります。 #alexaday2019 -
最近非常によく言われる 13 ・今のところ Amazonの中の人ではないです ・今のところ AWS Loft Tokyoに常駐している AlexaのAsk an
Expertではないです ・本件の権利類はSmartHacks社から僕のモノ になりました #alexaday2019 -
3つのコミュニティを運営中 19 ・Amazon Alexa Japan User Group (AAJUG) 関東支部 ・2019年から関東支部発足・主催
https://aajug.connpass.com/ ・3か月に1回開催、2019年3月で1周年 ・300人以上が集まる回もある https://kotodama.connpass.com/ ・2019年4月で8回目の開催 ・150人以上が集まる回もある https://iotlt.connpass.com/ #alexaday2019 -
2 件 っ て な ん だ よ ! ©
タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 34 -
2 件 っ て な ん だ っ た ん
だ よ ! © タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 41 #alexaday2019 -
コンセプト 50 ・API化 ・インテントの使用状況 ・★いくつ ・フリーコメント ・時間 ・カテゴリ ・作成ツール データ収集
・SQLで検索 ・BIツールでグラフ化 ・Webページに反映 分析・可視化 ・VUIでユーザが違和感 を持たない応答速度 ・プラットフォームに 依存しない設計 こだわり部分 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 55 ※動いた段階の構成。現在は一部異なります。 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 58 ※動いた段階の構成。現在は一部異なります。 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 アラート系は本質ではないので別として Amazon API Gateway AWS Lambda 59 アラート系 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 まずは登録部分 Amazon API Gateway AWS Lambda 60 アラート系 #alexaday2019 -
必要情報をいれるとSHAのIDを付与 61 Alexaスキル申請の情報入力を強く推奨 ・音声サービス名称(スキル名、アプリ名) 例:VUIあるある ・開発者名 例:surumegohan ・SHAユーザのメールアドレス1アカウント 例:[email protected] ・スキル開発に使用しているツール
例:Alexa Console+Lambda、ASK CLI .. #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 スキル作成時 Amazon API Gateway AWS Lambda 62 アラート系 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 API Gatewayの呼び出し Amazon API Gateway AWS Lambda 66 アラート系 #alexaday2019 -
68 各インテントの発話タイミング前等に含める スキルの特性により レビューやコメントの 実装は義務ではないですが ・LaunchRequest ・各種Intent ・STOP、CANCEL、HELP に入れてもらうと、呼び出された時間 や利用状況のログを公平に比較できる
逆にインチキしてそうなスキルは報告 してくれればSHAから外すなどの対 応をする予定 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Amazon Kinesis Firehose S3
bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Cognitoなりアカウントリンクなりも検討した Amazon API Gateway AWS Lambda 70 Amazon Cognito #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 なのでレスポンスとデータ格納を分割する Amazon API Gateway AWS Lambda 73 アラート系 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 データ格納箇所 Amazon API Gateway AWS Lambda 74 アラート系 #alexaday2019 -
案2 83 ※公式ページの説明文 AWS Glue は抽出、変換、ロード (ETL) を行う完全マネージド型のサービスで、 お客様の分析用データの準備とロードを簡単にします。 AWS
Glue Glueをかませればいけるか!? #alexaday2019 -
案3 87 ・読み取るファイル数が増えれば増えるほど遅くなる → 新しい分析用データが来たら1ファイルに追記していく? → そのタイミングで運悪くデータ読み取りとファイル編集が 重なったら悲惨な予感がする ・たしかにデータストアそのものが不要 →
とはいえ検索すればするほどコストが不安定にかかる ファイルのフォーマット(Parquet形式)や圧縮形式を ちゃんとすれば、維持費は最安値になる可能性がある #alexaday2019 -
案3 88 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換
Amazon Athena ここに お金がかかる 検索 #alexaday2019 -
案4 はじめからRedShift 91 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、
人気度(AlexaのsessionId)を それぞれ独立列で管理できる ・きちんと設計すれば速い → ショートクエリ判断、リザルトキャッシュ etc #alexaday2019 -
結果、素直にFirehoseからRedShift 94 Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon
Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon API Gateway AWS Lambda 94 アラート系 #alexaday2019 -
Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova Amazon Kinesis Firehose
S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon API Gateway AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ・認証情報 Webページから 認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 分析画面箇所 Amazon API Gateway AWS Lambda 95 アラート系 #alexaday2019 -
が、それぞれ使いたくない 97 Amazon EC2 AWS Elastic Beanstalk Metabase Re:dash ダッシュボードのためにEC2が必要
Kibana Elasticsearch Logstash 基本的にこの3点セットになる Pentaho 過去にトラウマ #alexaday2019 -
やるとしたら・・ 106 Amazon Redshift Amazon CloudWatch event (time-based) AWS Lambda
email notification Amazon SNS #alexaday2019 -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 113 #alexaday2019 -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 114 #alexaday2019 -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 115 #alexaday2019 -
このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし
※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 116 #alexaday2019