VUIのスキル・アクションのログデータ分析システムの話

2019年4月23日にVOTにて登壇した資料

Transcript

1. 2019/04/23 VOT MEETUP! Vol.9 @株式会社ZEALS オフィス VUIのスキル・アクションの ログデータ分析システムの話 1
2. 発表の前に 2 ・この資料は後日公開予定です ・メモるよりは #VOT でツイート！ ・セッション内容のシステムは今後変更される 可能性があります。 むしろリクエスト、ディスカッションください。
3. @surumegohan smartmacchiato.life/ surumegohan@gmail.com surumegohan.hatenablog.com/ Twitter Blog Gmail Web 3 フリーランス VUIプロデューサー/エンジニア 宮崎 翔平
4. @surumegohan smartmacchiato.life/ surumegohan@gmail.com surumegohan.hatenablog.com/ Twitter Blog Gmail Web 4 フリーランス VUIプロデューサー/エンジニア
5. 3つのVUI系コミュニティを運営中 5 ・Amazon Alexa Japan User Group (AAJUG) 関東支部 ・2019年から関東支部発足・主催 https://aajug.connpass.com/ ・3か月に1回開催、2019年3月で1周年 ・300人以上が集まる回もある https://kotodama.connpass.com/ ・2019年4月で8回目の開催 ・150人以上が集まる回もある https://iotlt.connpass.com/ #VOT
6. 何を創ったか 6 スマートスピーカー等の音声サービスの使用状況と 音声でのレビューやフィードバックを分析するシステム #VOT
7. Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 7 ※動いた段階の構成。現在は一部異なります。 #VOT
8. ダッシュボード 8 #VOT
9. ダッシュボード 9 #VOT
10. 経歴（会社員時代） 10 DBA QA・SET DevOps推進 #VOT JSTQB FL
11. 経歴 11 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に 専念したくサクッと無職 #VOT
12. 経歴 12 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に 専念したくサクッと無職 → フリーランス #VOT
13. 経歴 13 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI（スマートスピーカー）に 専念したくサクッと無職 → フリーランス → 某社CTO内定、大人の事情で白紙 #VOT
14. 14 本日は技術的な話を中心にします
15. 15 ・VUIに対する悩み、課題 ・課題へのソリューション ・システム構成 ・Amazon QuickSightの機械学習対応 本日は技術的な話を中心にします
16. 最近非常によく言われる 16 ・本件の権利類はSmartHacks社から僕のモノ になりました #VOT
18. VUIに関してこんなお悩みありませんか？ 18
19. こんな悩みありませんか？ 19 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない #VOT
20. こんな悩みありませんか？ 20 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス（スキル）作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない #VOT
21. こんな悩みありませんか？ 21 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス（スキル）作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない ・既に音声サービスを公開したけど、ユーザーの満足度が わからない #VOT
22. こんな悩みありませんか？ 22 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス（スキル）作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない ・既に音声サービスを公開したけど、ユーザーの満足度が わからない ・自分の音声サービスが、他者のサービスと比較できなくて 改善できない #VOT
23. だから データ分析が必要 23
24. 2018年11月7日にリリース 24 #VOT
25. 25 #VOT 動画中はツイートチャンス！ https://www.youtube.com/watch?v=8I4eQMEBeaA
26. VUIの 悲しい現実を ご紹介 26 #VOT
27. Amazonのスキルストア レビュー数 ？ 27 UUが 数百人の一方で・・ #VOT
28. Amazonのスキルストア レビュー数 2 28 #VOT UUが 数百人の一方で・・
29. 2 件 っ て な ん だ よ ︕ © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰 29
30. ユーザーからのフィードバックが欲しい！ それは、たとえネガティブでも良い 30 何かのサービス、アプリを公開したら #VOT
31. ユーザーからのフィードバックが欲しい！ それは、たとえネガティブでも良い 31 何かのサービス、アプリを公開したら 無反応が一番 嫌だ・困る・怖い #VOT
32. このスキルでは 結城琴葉ちゃんから美少女ボイスで 音声でのレビューとコメントを求められる 32 だが策はある #VOT
33. 33 #VOT 動画中はツイートチャンス！ https://www.youtube.com/watch?v=AcWaEMqAyZ4
34. 音声によるレビューの結果 118件 ※重複ユーザーも存在 ※公開約2週間後 ※βテストやAmazon社の審査時の数字も含まれる 34 #VOT 表向き2件に対して・・
35. 2 件 っ て な ん だ っ た ん だ よ ！ © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰 35 #VOT
36. 音声によるフリーコメントの一部 ・とってもいいスキルでした 36 #VOT
37. 音声によるフリーコメントの一部 ・とってもいいスキルでした ・星7つ 37 #VOT
38. 音声によるフリーコメントの一部 ・とってもいいスキルでした ・星7つ ・魂スキルでしたとっても良かったです ※楽しい？ ・大好きです ・かわいらしいキャラクターで素晴らしいと思います ・天海丸matlock 欲しい ※展開がまどろっこしい? 38 まさにお客様の「声」 #VOT
39. もちろん美少女でなくともフィードバックはもらえる 39 「ストップ」と話しかけると 「いいね」 「いまいち」 「ストップ」 を求められる仕組み ※2018年6月リリース ※ASK-SDKを書き換えて動いてます #VOT
40. 40 公開から約2か月後の集計結果 合計186件 リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転 #VOT
41. 声でフィードバックを得るのが最適解 音声操作をしている中で、レビューのために いちいちスマホやPCを操作しない！！ 41 #VOT
42. なのに・・ Google社、Amazon社、LINE社 どこも日本で やってないな？ 42 #VOT
43. 僕のモットー ないなら創ればいい 43 #VOT
45. 調査&Try-Errorを繰り返す 45 ・データレイク ・データウェアハウス #VOT
46. 46 https://aws.amazon.com/jp/start-ups/loft/tokyo/ スタートアップとデベロッパーのための場 AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・ Twitterハッシュタグ #AWSLoft #VOT
47. 特許出願できた 47 弁理士さんとのやりとりとか、書類とか大変でした ないモノを比較・可視化まで創ってしまったので ※ 1つのスキル（音声サービス）単体で音声のレビュー&コメントを実装するのはご自由に。 ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。 #VOT
48. 48 ここから、技術的な話をします
49. Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 49 ※動いた段階の構成。現在は一部異なります。 #VOT
50. 検証の結果使用しなかった 50 AWS Glue Amazon RDS AWS Lambda AWS Lambda Amazon EC2 S3 bucket Amazon Athena AWS Elastic Beanstalk Amazon EC2 Metabase AWS Batch Amazon Cognito AWS Step Functions #VOT
51. Athena案 維持費は最安値の可能性 51 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena 検索 #VOT Amazon QuickSight
52. Athena案 けども・・ 52 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena ここに お金がかかる 検索 #VOT Amazon QuickSight
53. Athena案 けども・・ 53 Amazon Kinesis Firehose S3 bucket AWS Lambda Parquet形式変換 Amazon Athena ここに お金がかかる 検索 #VOT どのように分析されるか未知数 であるためパーティション化が難しい Amazon QuickSight
54. RedShift 54 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift #VOT
55. RedShift 55 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 #VOT
56. RedShift 56 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、 人気度（AlexaのsessionId）を それぞれ独立列で管理できる #VOT
57. RedShift 57 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、 人気度（AlexaのsessionId）を それぞれ独立列で管理できる ・きちんと設計すれば速い → データ分散、ショートクエリ判断、 リザルトキャッシュ etc.. #VOT
58. サーバレスで運用不要のBIサービス 58 Amazon QuickSight #VOT
59. ダッシュボード 59 #VOT
60. ダッシュボード 60 #VOT ※音声のレビューとフィードバックの実装は必須ではない
61. 61 Amazon QuickSightの機械学習
62. 例1︓人気が高すぎる場合の異常値検知 62 #VOT
63. 例２：スキルの伸びしろ予測 67 #VOT
64. 2018年11月7日リリース もちろん情報収集する旨をAmazonに伝えた上での審査一発通過 70 そんなシステムを使ったサンプル #VOT
65. 71 #VOT
66. このシステムのメリット １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン トを呼び出しているか）認識できる ※グラフの作り方次第 ３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用宣言済 ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 72 #VOT
67. このシステムのメリット １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン トを呼び出しているか）認識できる ※グラフの作り方次第 ３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用宣言済 ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 73 #VOT
68. このシステムのメリット １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン トを呼び出しているか）認識できる ※グラフの作り方次第 ３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用中 ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 74 #VOT
69. このシステムのメリット １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン トを呼び出しているか）認識できる ※グラフの作り方次第 ３．自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし ※既に様々な企業・団体・個人がβ版利用中 ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 75 #VOT
70. そして何より みんなで切磋琢磨するようになるので、 VUI業界のスキル（音声サービス）の 品質が向上される未来が描ける！！ by VUIプロデューサー 76 #VOT
71. 技術書典6で本を頒布 77 ・2019年4月14日@池袋サンシャイン ・電子版をBOOTHで頒布中 #VOT
72. まとめ 78 【可視化】&【特許で独占】 ・スキル（音声サービス）のログ ・音声でのレビュー&感想 ご関心ある方はお声がけを #VOT
73. 「VUIあるある」の ソースコードと利用ドキュメント 公開予定 ご関心がある方は懇親会で！ ※もちろんメールやTwitter等で連絡をいただいても構わないです 79 #VOT