VUIのスキル・アクションのログデータ分析システムの話

4216f4ebe69909923f8e36df5d054740?s=47 show
April 23, 2019

 VUIのスキル・アクションのログデータ分析システムの話

2019年4月23日にVOTにて登壇した資料

4216f4ebe69909923f8e36df5d054740?s=128

show

April 23, 2019
Tweet

Transcript

  1. 2019/04/23 VOT MEETUP! Vol.9 @株式会社ZEALS オフィス VUIのスキル・アクションの ログデータ分析システムの話 1

  2. 発表の前に 2 ・この資料は後日公開予定です ・メモるよりは #VOT でツイート! ・セッション内容のシステムは今後変更される 可能性があります。 むしろリクエスト、ディスカッションください。

  3. @surumegohan smartmacchiato.life/ surumegohan@gmail.com surumegohan.hatenablog.com/ Twitter Blog Gmail Web 3 フリーランス

    VUIプロデューサー/エンジニア 宮崎 翔平
  4. @surumegohan smartmacchiato.life/ surumegohan@gmail.com surumegohan.hatenablog.com/ Twitter Blog Gmail Web 4 フリーランス

    VUIプロデューサー/エンジニア
  5. 3つのVUI系コミュニティを運営中 5 ・Amazon Alexa Japan User Group (AAJUG) 関東支部 ・2019年から関東支部発足・主催

    https://aajug.connpass.com/ ・3か月に1回開催、2019年3月で1周年 ・300人以上が集まる回もある https://kotodama.connpass.com/ ・2019年4月で8回目の開催 ・150人以上が集まる回もある https://iotlt.connpass.com/ #VOT
  6. 何を創ったか 6 スマートスピーカー等の音声サービスの使用状況と 音声でのレビューやフィードバックを分析するシステム #VOT

  7. Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon

    Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 7 ※動いた段階の構成。現在は一部異なります。 #VOT
  8. ダッシュボード 8 #VOT

  9. ダッシュボード 9 #VOT

  10. 経歴(会社員時代) 10 DBA QA・SET DevOps推進 #VOT JSTQB FL

  11. 経歴 11 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI(スマートスピーカー)に 専念したくサクッと無職 #VOT

  12. 経歴 12 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI(スマートスピーカー)に 専念したくサクッと無職 → フリーランス #VOT

  13. 経歴 13 元DBA・QAエンジニア・DevOps推進 → 2018年4月にVUI(スマートスピーカー)に 専念したくサクッと無職 → フリーランス → 某社CTO内定、大人の事情で白紙

    #VOT
  14. 14 本日は技術的な話を中心にします

  15. 15 ・VUIに対する悩み、課題 ・課題へのソリューション ・システム構成 ・Amazon QuickSightの機械学習対応 本日は技術的な話を中心にします

  16. 最近非常によく言われる 16 ・本件の権利類はSmartHacks社から僕のモノ になりました #VOT

  17. 17

  18. VUIに関してこんなお悩みありませんか? 18

  19. こんな悩みありませんか? 19 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない #VOT

  20. こんな悩みありませんか? 20 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス(スキル)作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない #VOT

  21. こんな悩みありませんか? 21 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス(スキル)作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない ・既に音声サービスを公開したけど、ユーザーの満足度が わからない #VOT

  22. こんな悩みありませんか? 22 ・VUIやスマートスピーカーに興味あるんだけど、 どういう音声サービスを見習って作ればいいのかわからない ・音声サービス(スキル)作成を誰かに依頼したいけど、 人気サービスをリリースしている人・企業がわからない ・既に音声サービスを公開したけど、ユーザーの満足度が わからない ・自分の音声サービスが、他者のサービスと比較できなくて 改善できない

    #VOT
  23. だから データ分析が必要 23

  24. 2018年11月7日にリリース 24 #VOT

  25. 25 #VOT 動画中はツイートチャンス! https://www.youtube.com/watch?v=8I4eQMEBeaA

  26. VUIの 悲しい現実を ご紹介 26 #VOT

  27. Amazonのスキルストア レビュー数 ? 27 UUが 数百人の一方で・・ #VOT

  28. Amazonのスキルストア レビュー数 2 28 #VOT UUが 数百人の一方で・・

  29. 2 件 っ て な ん だ よ ︕ ©

    タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 29
  30. ユーザーからのフィードバックが欲しい! それは、たとえネガティブでも良い 30 何かのサービス、アプリを公開したら #VOT

  31. ユーザーからのフィードバックが欲しい! それは、たとえネガティブでも良い 31 何かのサービス、アプリを公開したら 無反応が一番 嫌だ・困る・怖い #VOT

  32. このスキルでは 結城琴葉ちゃんから美少女ボイスで 音声でのレビューとコメントを求められる 32 だが策はある #VOT

  33. 33 #VOT 動画中はツイートチャンス! https://www.youtube.com/watch?v=AcWaEMqAyZ4

  34. 音声によるレビューの結果 118件 ※重複ユーザーも存在 ※公開約2週間後 ※βテストやAmazon社の審査時の数字も含まれる 34 #VOT 表向き2件に対して・・

  35. 2 件 っ て な ん だ っ た ん

    だ よ ! © タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰 35 #VOT
  36. 音声によるフリーコメントの一部 ・とってもいいスキルでした 36 #VOT

  37. 音声によるフリーコメントの一部 ・とってもいいスキルでした ・星7つ 37 #VOT

  38. 音声によるフリーコメントの一部 ・とってもいいスキルでした ・星7つ ・魂スキルでしたとっても良かったです ※楽しい? ・大好きです ・かわいらしいキャラクターで素晴らしいと思います ・天海丸matlock 欲しい ※展開がまどろっこしい?

    38 まさにお客様の「声」 #VOT
  39. もちろん美少女でなくともフィードバックはもらえる 39 「ストップ」と話しかけると 「いいね」 「いまいち」 「ストップ」 を求められる仕組み ※2018年6月リリース ※ASK-SDKを書き換えて動いてます #VOT

  40. 40 公開から約2か月後の集計結果 合計186件 リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転 #VOT

  41. 声でフィードバックを得るのが最適解 音声操作をしている中で、レビューのために いちいちスマホやPCを操作しない!! 41 #VOT

  42. なのに・・ Google社、Amazon社、LINE社 どこも日本で やってないな? 42 #VOT

  43. 僕のモットー ないなら創ればいい 43 #VOT

  44. 44

  45. 調査&Try-Errorを繰り返す 45 ・データレイク ・データウェアハウス #VOT

  46. 46 https://aws.amazon.com/jp/start-ups/loft/tokyo/ スタートアップとデベロッパーのための場 AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・ Twitterハッシュタグ #AWSLoft #VOT

  47. 特許出願できた 47 弁理士さんとのやりとりとか、書類とか大変でした ないモノを比較・可視化まで創ってしまったので ※ 1つのスキル(音声サービス)単体で音声のレビュー&コメントを実装するのはご自由に。 ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。 #VOT

  48. 48 ここから、技術的な話をします

  49. Alexa skill AWS Lambda システムユーザの アレクサのスキル Clova AWS Lambda Amazon

    Kinesis Firehose S3 bucket Amazon DynamoDB Amazon Redshift Webページに音声レビュー結果を表示 Amazon CloudWatch Amazon API Gateway ERRORだけ抜き取る エラー通知が飛ぶ。 AWS Lambda まず認証だけやる AWS cloud 3 4 5 6 9 10 11-2 12 13 14 15 ERRORや障害時のみ 通知するための動作 ・認証情報 Webページから認証情報発行 1 2 7 8 Amazon QuickSight AWS Lambda 10 12 invoke Amazon Kinesis Firehose S3 bucket 11-1 12 データをCSV形式 に変換して流す 想定される格納デー タの生データのまま 生データ保管用 Amazon CloudWatch API Gatewayを突破 したらすべて CloudWatchにログ をためておく システム構成概要 Amazon API Gateway AWS Lambda 49 ※動いた段階の構成。現在は一部異なります。 #VOT
  50. 検証の結果使用しなかった 50 AWS Glue Amazon RDS AWS Lambda AWS Lambda

    Amazon EC2 S3 bucket Amazon Athena AWS Elastic Beanstalk Amazon EC2 Metabase AWS Batch Amazon Cognito AWS Step Functions #VOT
  51. Athena案 維持費は最安値の可能性 51 Amazon Kinesis Firehose S3 bucket AWS Lambda

    Parquet形式変換 Amazon Athena 検索 #VOT Amazon QuickSight
  52. Athena案 けども・・ 52 Amazon Kinesis Firehose S3 bucket AWS Lambda

    Parquet形式変換 Amazon Athena ここに お金がかかる 検索 #VOT Amazon QuickSight
  53. Athena案 けども・・ 53 Amazon Kinesis Firehose S3 bucket AWS Lambda

    Parquet形式変換 Amazon Athena ここに お金がかかる 検索 #VOT どのように分析されるか未知数 であるためパーティション化が難しい Amazon QuickSight
  54. RedShift 54 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift #VOT

  55. RedShift 55 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 #VOT

  56. RedShift 56 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、 人気度(AlexaのsessionId)を

    それぞれ独立列で管理できる #VOT
  57. RedShift 57 ・ Amazon Redshift ・データ分析をBIツールでやるなら、やはりRedShift ・列指向 → レビュー、フィードバックコメント、 人気度(AlexaのsessionId)を

    それぞれ独立列で管理できる ・きちんと設計すれば速い → データ分散、ショートクエリ判断、 リザルトキャッシュ etc.. #VOT
  58. サーバレスで運用不要のBIサービス 58 Amazon QuickSight #VOT

  59. ダッシュボード 59 #VOT

  60. ダッシュボード 60 #VOT ※音声のレビューとフィードバックの実装は必須ではない

  61. 61 Amazon QuickSightの機械学習

  62. 例1︓人気が高すぎる場合の異常値検知 62 #VOT

  63. 例2:スキルの伸びしろ予測 67 #VOT

  64. 2018年11月7日リリース もちろん情報収集する旨をAmazonに伝えた上での審査一発通過 70 そんなシステムを使ったサンプル #VOT

  65. 71 #VOT

  66. このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし

    ※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 72 #VOT
  67. このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし

    ※既に様々な企業・団体・個人がβ版利用宣言済 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 73 #VOT
  68. このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし

    ※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 74 #VOT
  69. このシステムのメリット 1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される 仕組みが用意してあるのでスクラッチしなくていい 2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン トを呼び出しているか)認識できる ※グラフの作り方次第 3.自分以外の音声サービスの利用状況と比較できる → 自分・自社のKPIの指標にするもよし 人気サービスのリリース者を探して開発依頼をするもよし

    ※既に様々な企業・団体・個人がβ版利用中 4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも プラットフォームをまたがった比較ができる ※作成中 75 #VOT
  70. そして何より みんなで切磋琢磨するようになるので、 VUI業界のスキル(音声サービス)の 品質が向上される未来が描ける!! by VUIプロデューサー 76 #VOT

  71. 技術書典6で本を頒布 77 ・2019年4月14日@池袋サンシャイン ・電子版をBOOTHで頒布中 #VOT

  72. まとめ 78 【可視化】&【特許で独占】 ・スキル(音声サービス)のログ ・音声でのレビュー&感想 ご関心ある方はお声がけを #VOT

  73. 「VUIあるある」の ソースコードと利用ドキュメント 公開予定 ご関心がある方は懇親会で! ※もちろんメールやTwitter等で連絡をいただいても構わないです 79 #VOT