VUIのスキル・アクションのログデータ分析システムの話

by show

Slide 1

Slide 1 text

2019/04/23 VOT MEETUP! Vol.9 @株式会社ZEALS オフィス VUIのスキル・アクションのログデータ分析システムの話 1

Slide 2

Slide 2 text

発表の前に 2 ・この資料は後日公開予定です・メモるよりは #VOT でツイート！・セッション内容のシステムは今後変更される可能性があります。むしろリクエスト、ディスカッションください。

Slide 3

Slide 3 text

@surumegohan smartmacchiato.life/ [email protected] surumegohan.hatenablog.com/ Twitter Blog Gmail Web 3 フリーランス VUIプロデューサー/エンジニア宮崎翔平

Slide 4

Slide 4 text

@surumegohan smartmacchiato.life/ [email protected] surumegohan.hatenablog.com/ Twitter Blog Gmail Web 4 フリーランス VUIプロデューサー/エンジニア

Slide 5

Slide 5 text

3つのVUI系コミュニティを運営中 5 ・Amazon Alexa Japan User Group (AAJUG) 関東支部・2019年から関東支部発足・主催 https://aajug.connpass.com/ ・3か月に1回開催、2019年3月で1周年・300人以上が集まる回もある https://kotodama.connpass.com/ ・2019年4月で8回目の開催・150人以上が集まる回もある https://iotlt.connpass.com/ #VOT

Slide 6

Slide 6 text

何を創ったか 6 スマートスピーカー等の音声サービスの使用状況と音声でのレビューやフィードバックを分析するシステム #VOT

Slide 7

Slide 7 text

Alexa skill AWS Lambda システムユーザのアレクサのスキル Clova AWS Lambda Amazon Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取るエラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ通知するための動作・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式に変換して流す想定される格納データの生データのまま生データ保管用 Amazon CloudWatch API Gatewayを突破したらすべて CloudWatchにログをためておくシステム構成概要 Amazon API Gateway AWS Lambda 7 ※動いた段階の構成。現在は一部異なります。 #VOT

Slide 8

Slide 8 text

ダッシュボード 8 #VOT

Slide 9

Slide 9 text

ダッシュボード 9 #VOT

Slide 10

Slide 10 text

経歴（会社員時代） 10 DBA QA・SET DevOps推進 #VOT JSTQB FL

Slide 11

Slide 11 text

経歴 11 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に専念したくサクッと無職 #VOT

Slide 12

Slide 12 text

経歴 12 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に専念したくサクッと無職 → フリーランス #VOT

Slide 13

Slide 13 text

経歴 13 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に専念したくサクッと無職 → フリーランス → 某社CTO内定、大人の事情で白紙 #VOT

Slide 14

Slide 14 text

14 本日は技術的な話を中心にします

Slide 15

Slide 15 text

15 ・VUIに対する悩み、課題・課題へのソリューション・システム構成・Amazon QuickSightの機械学習対応本日は技術的な話を中心にします

Slide 16

Slide 16 text

最近非常によく言われる 16 ・本件の権利類はSmartHacks社から僕のモノになりました #VOT

Slide 17

Slide 17 text

Slide 18

Slide 18 text

VUIに関してこんなお悩みありませんか？ 18

Slide 19

Slide 19 text

こんな悩みありませんか？ 19 ・VUIやスマートスピーカーに興味あるんだけど、どういう音声サービスを見習って作ればいいのかわからない #VOT

Slide 20

Slide 20 text

こんな悩みありませんか？ 20 ・VUIやスマートスピーカーに興味あるんだけど、どういう音声サービスを見習って作ればいいのかわからない・音声サービス（スキル）作成を誰かに依頼したいけど、人気サービスをリリースしている人・企業がわからない #VOT

Slide 21

Slide 21 text

こんな悩みありませんか？ 21 ・VUIやスマートスピーカーに興味あるんだけど、どういう音声サービスを見習って作ればいいのかわからない・音声サービス（スキル）作成を誰かに依頼したいけど、人気サービスをリリースしている人・企業がわからない・既に音声サービスを公開したけど、ユーザーの満足度がわからない #VOT

Slide 22

Slide 22 text

こんな悩みありませんか？ 22 ・VUIやスマートスピーカーに興味あるんだけど、どういう音声サービスを見習って作ればいいのかわからない・音声サービス（スキル）作成を誰かに依頼したいけど、人気サービスをリリースしている人・企業がわからない・既に音声サービスを公開したけど、ユーザーの満足度がわからない・自分の音声サービスが、他者のサービスと比較できなくて改善できない #VOT

Slide 23

Slide 23 text

だからデータ分析が必要 23

Slide 24

Slide 24 text

2018年11月7日にリリース 24 #VOT

Slide 25

Slide 25 text

25 #VOT 動画中はツイートチャンス！ https://www.youtube.com/watch?v=8I4eQMEBeaA

Slide 26

Slide 26 text

VUIの悲しい現実をご紹介 26 #VOT

Slide 27

Slide 27 text

Amazonのスキルストアレビュー数？ 27 UUが数百人の一方で・・ #VOT

Slide 28

Slide 28 text

Amazonのスキルストアレビュー数 2 28 #VOT UUが数百人の一方で・・

Slide 29

Slide 29 text

2 件ってなんだよ ︕ © タイトル：ブラックジャックによろしく著作者名: 佐藤秀峰 29

Slide 30

Slide 30 text

ユーザーからのフィードバックが欲しい！それは、たとえネガティブでも良い 30 何かのサービス、アプリを公開したら #VOT

Slide 31

Slide 31 text

ユーザーからのフィードバックが欲しい！それは、たとえネガティブでも良い 31 何かのサービス、アプリを公開したら無反応が一番嫌だ・困る・怖い #VOT

Slide 32

Slide 32 text

このスキルでは結城琴葉ちゃんから美少女ボイスで音声でのレビューとコメントを求められる 32 だが策はある #VOT

Slide 33

Slide 33 text

33 #VOT 動画中はツイートチャンス！ https://www.youtube.com/watch?v=AcWaEMqAyZ4

Slide 34

Slide 34 text

音声によるレビューの結果 118件 ※重複ユーザーも存在 ※公開約2週間後 ※βテストやAmazon社の審査時の数字も含まれる 34 #VOT 表向き2件に対して・・

Slide 35

Slide 35 text

2 件ってなんだったんだよ！ © タイトル：ブラックジャックによろしく著作者名: 佐藤秀峰 35 #VOT

Slide 36

Slide 36 text

音声によるフリーコメントの一部・とってもいいスキルでした 36 #VOT

Slide 37

Slide 37 text

音声によるフリーコメントの一部・とってもいいスキルでした・星7つ 37 #VOT

Slide 38

Slide 38 text

音声によるフリーコメントの一部・とってもいいスキルでした・星7つ・魂スキルでしたとっても良かったです ※楽しい？・大好きです・かわいらしいキャラクターで素晴らしいと思います・天海丸matlock 欲しい ※展開がまどろっこしい? 38 まさにお客様の「声」 #VOT

Slide 39

Slide 39 text

もちろん美少女でなくともフィードバックはもらえる 39 「ストップ」と話しかけると「いいね」「いまいち」「ストップ」を求められる仕組み ※2018年6月リリース ※ASK-SDKを書き換えて動いてます #VOT

Slide 40

Slide 40 text

40 公開から約2か月後の集計結果合計186件リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転 #VOT

Slide 41

Slide 41 text

声でフィードバックを得るのが最適解音声操作をしている中で、レビューのためにいちいちスマホやPCを操作しない！！ 41 #VOT

Slide 42

Slide 42 text

なのに・・ Google社、Amazon社、LINE社どこも日本でやってないな？ 42 #VOT

Slide 43

Slide 43 text

僕のモットーないなら創ればいい 43 #VOT

Slide 44

Slide 44 text

Slide 45

Slide 45 text

調査&Try-Errorを繰り返す 45 ・データレイク・データウェアハウス #VOT

Slide 46

Slide 46 text

46 https://aws.amazon.com/jp/start-ups/loft/tokyo/ スタートアップとデベロッパーのための場 AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・ Twitterハッシュタグ #AWSLoft #VOT

Slide 47

Slide 47 text

特許出願できた 47 弁理士さんとのやりとりとか、書類とか大変でしたないモノを比較・可視化まで創ってしまったので ※ 1つのスキル（音声サービス）単体で音声のレビュー&コメントを実装するのはご自由に。ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。 #VOT

Slide 48

Slide 48 text

48 ここから、技術的な話をします

Slide 49

Slide 49 text

Alexa skill AWS Lambda システムユーザのアレクサのスキル Clova AWS Lambda Amazon Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取るエラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ通知するための動作・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式に変換して流す想定される格納データの生データのまま生データ保管用 Amazon CloudWatch API Gatewayを突破したらすべて CloudWatchにログをためておくシステム構成概要 Amazon API Gateway AWS Lambda 49 ※動いた段階の構成。現在は一部異なります。 #VOT

Slide 50

Slide 50 text

検証の結果使用しなかった 50 AWS Glue Amazon RDS AWS Lambda AWS Lambda Amazon EC2 S3 bucket Amazon Athena AWS Elastic Beanstalk Amazon EC2 Metabase AWS Batch Amazon Cognito AWS Step Functions #VOT

Slide 51

Slide 51 text

Athena案維持費は最安値の可能性 51 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena 検索 #VOT Amazon QuickSight

Slide 52

Slide 52 text

Athena案けども・・ 52 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena ここにお金がかかる検索 #VOT Amazon QuickSight

Slide 53

Slide 53 text

Athena案けども・・ 53 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena ここにお金がかかる検索 #VOT どのように分析されるか未知数であるためパーティション化が難しい Amazon QuickSight

Slide 54

Slide 54 text

RedShift 54 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift #VOT

Slide 55

Slide 55 text

RedShift 55 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 #VOT

Slide 56

Slide 56 text

RedShift 56 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、人気度（AlexaのsessionId）をそれぞれ独立列で管理できる #VOT

Slide 57

Slide 57 text

RedShift 57 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、人気度（AlexaのsessionId）をそれぞれ独立列で管理できる・きちんと設計すれば速い → データ分散、ショートクエリ判断、リザルトキャッシュ etc.. #VOT

Slide 58

Slide 58 text

サーバレスで運用不要のBIサービス 58 Amazon QuickSight #VOT

Slide 59

Slide 59 text

ダッシュボード 59 #VOT

Slide 60

Slide 60 text

ダッシュボード 60 #VOT ※音声のレビューとフィードバックの実装は必須ではない

Slide 61

Slide 61 text

61 Amazon QuickSightの機械学習

Slide 62

Slide 62 text

例1︓人気が高すぎる場合の異常値検知 62 #VOT

Slide 63

Slide 63 text

例２：スキルの伸びしろ予測 67 #VOT

Slide 64

Slide 64 text

2018年11月7日リリースもちろん情報収集する旨をAmazonに伝えた上での審査一発通過 70 そんなシステムを使ったサンプル #VOT

Slide 65

Slide 65 text

71 #VOT

Slide 66

Slide 66 text

このシステムのメリット１．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される仕組みが用意してあるのでスクラッチしなくていい２．自分の音声サービスが、ユーザがどのように対話をしているか（インテントを呼び出しているか）認識できる ※グラフの作り方次第３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用宣言済４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでもプラットフォームをまたがった比較ができる ※作成中 72 #VOT

Slide 67

Slide 67 text

Slide 68

Slide 68 text

このシステムのメリット１．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される仕組みが用意してあるのでスクラッチしなくていい２．自分の音声サービスが、ユーザがどのように対話をしているか（インテントを呼び出しているか）認識できる ※グラフの作り方次第３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用中４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでもプラットフォームをまたがった比較ができる ※作成中 74 #VOT

Slide 69

Slide 69 text

このシステムのメリット１．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される仕組みが用意してあるのでスクラッチしなくていい２．自分の音声サービスが、ユーザがどのように対話をしているか（インテントを呼び出しているか）認識できる ※グラフの作り方次第３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用中４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでもプラットフォームをまたがった比較ができる ※作成中 75 #VOT

Slide 70

Slide 70 text

そして何よりみんなで切磋琢磨するようになるので、 VUI業界のスキル（音声サービス）の品質が向上される未来が描ける！！ by VUIプロデューサー 76 #VOT

Slide 71

Slide 71 text

技術書典6で本を頒布 77 ・2019年4月14日@池袋サンシャイン・電子版をBOOTHで頒布中 #VOT

Slide 72

Slide 72 text

まとめ 78 【可視化】&【特許で独占】・スキル（音声サービス）のログ・音声でのレビュー&感想ご関心ある方はお声がけを #VOT

Slide 73

Slide 73 text

「VUIあるある」のソースコードと利用ドキュメント公開予定ご関心がある方は懇親会で！ ※もちろんメールやTwitter等で連絡をいただいても構わないです 79 #VOT