VUIのスキル・アクションのログデータ分析システムの話

2019年4月23日にVOTにて登壇した資料

Transcript

1. 2019/04/23 VOT MEETUP! Vol.9 @株式会社ZEALS オフィス
   VUIのスキル・アクションの
   ログデータ分析システムの話
   1
   

   View Slide

2. 発表の前に
   2
   ・この資料は後日公開予定です
   ・メモるよりは #VOT でツイート！
   ・セッション内容のシステムは今後変更される
   可能性があります。
   むしろリクエスト、ディスカッションください。
   

   View Slide

3. @surumegohan smartmacchiato.life/
   surumegohan@gmail.com
   surumegohan.hatenablog.com/
   Twitter Blog Gmail Web
   3
   フリーランス
   VUIプロデューサー/エンジニア
   宮崎 翔平
   

   View Slide

4. @surumegohan smartmacchiato.life/
   surumegohan@gmail.com
   surumegohan.hatenablog.com/
   Twitter Blog Gmail Web
   4
   フリーランス
   VUIプロデューサー/エンジニア
   

   View Slide

5. 3つのVUI系コミュニティを運営中
   5
   ・Amazon Alexa Japan User Group (AAJUG) 関東支部
   ・2019年から関東支部発足・主催
   https://aajug.connpass.com/
   ・3か月に1回開催、2019年3月で1周年
   ・300人以上が集まる回もある
   https://kotodama.connpass.com/
   ・2019年4月で8回目の開催
   ・150人以上が集まる回もある
   https://iotlt.connpass.com/
   #VOT
   

   View Slide

6. 何を創ったか
   6
   スマートスピーカー等の音声サービスの使用状況と
   音声でのレビューやフィードバックを分析するシステム
   #VOT
   

   View Slide

7. Alexa skill AWS
   Lambda
   システムユーザの
   アレクサのスキル
   Clova
   AWS
   Lambda
   Amazon Kinesis
   Firehose
   S3 bucket
   Amazon
   DynamoDB
   Amazon
   Redshift
   Webページに音声レビュー結果を表示
   Amazon CloudWatch
   Amazon API
   Gateway
   ERRORだけ抜き取る
   エラー通知が飛ぶ。
   AWS Lambda
   まず認証だけやる
   AWS cloud
   3 4
   5
   6
   9
   10
   11-2 12 13 14
   15
   ERRORや障害時のみ
   通知するための動作
   ・認証情報
   Webページから認証情報発行
   1
   2
   7 8
   Amazon
   QuickSight
   AWS Lambda
   10
   12
   invoke
   Amazon Kinesis
   Firehose
   S3 bucket
   11-1
   12
   データをCSV形式
   に変換して流す
   想定される格納デー
   タの生データのまま
   生データ保管用
   Amazon CloudWatch
   API Gatewayを突破
   したらすべて
   CloudWatchにログ
   をためておく
   システム構成概要
   Amazon API
   Gateway
   AWS Lambda
   7
   ※動いた段階の構成。現在は一部異なります。
   #VOT
   

   View Slide

8. ダッシュボード
   8
   #VOT
   

   View Slide

9. ダッシュボード
   9
   #VOT
   

   View Slide

10. 経歴（会社員時代）
    10
    DBA QA・SET DevOps推進
    #VOT
    JSTQB FL
    

    View Slide

11. 経歴
    11
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI（スマートスピーカー）に
    専念したくサクッと無職
    #VOT
    

    View Slide

12. 経歴
    12
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI（スマートスピーカー）に
    専念したくサクッと無職
    → フリーランス
    #VOT
    

    View Slide

13. 経歴
    13
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI（スマートスピーカー）に
    専念したくサクッと無職
    → フリーランス
    → 某社CTO内定、大人の事情で白紙
    #VOT
    

    View Slide

14. 14
    本日は技術的な話を中心にします
    

    View Slide

15. 15
    ・VUIに対する悩み、課題
    ・課題へのソリューション
    ・システム構成
    ・Amazon QuickSightの機械学習対応
    本日は技術的な話を中心にします
    

    View Slide

16. 最近非常によく言われる
    16
    ・本件の権利類はSmartHacks社から僕のモノ
    になりました
    #VOT
    

    View Slide

17. View Slide

18. VUIに関してこんなお悩みありませんか？
    18
    

    View Slide

19. こんな悩みありませんか？
    19
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    #VOT
    

    View Slide

20. こんな悩みありませんか？
    20
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス（スキル）作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    #VOT
    

    View Slide

21. こんな悩みありませんか？
    21
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス（スキル）作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    ・既に音声サービスを公開したけど、ユーザーの満足度が
    わからない
    #VOT
    

    View Slide

22. こんな悩みありませんか？
    22
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス（スキル）作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    ・既に音声サービスを公開したけど、ユーザーの満足度が
    わからない
    ・自分の音声サービスが、他者のサービスと比較できなくて
    改善できない
    #VOT
    

    View Slide

23. だから
    データ分析が必要
    23
    

    View Slide

24. 2018年11月7日にリリース
    24
    #VOT
    

    View Slide

25. 25
    #VOT 動画中はツイートチャンス！
    https://www.youtube.com/watch?v=8I4eQMEBeaA
    

    View Slide

26. VUIの
    悲しい現実を
    ご紹介
    26
    #VOT
    

    View Slide

27. Amazonのスキルストア
    レビュー数 ？
    27
    UUが
    数百人の一方で・・
    #VOT
    

    View Slide

28. Amazonのスキルストア
    レビュー数 2
    28
    #VOT
    UUが
    数百人の一方で・・
    

    View Slide

29. 2
    件
    っ
    て
    な
    ん
    だ
    よ
    ︕
    © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰
    29
    

    View Slide

30. ユーザーからのフィードバックが欲しい！
    それは、たとえネガティブでも良い
    30
    何かのサービス、アプリを公開したら
    #VOT
    

    View Slide

31. ユーザーからのフィードバックが欲しい！
    それは、たとえネガティブでも良い
    31
    何かのサービス、アプリを公開したら
    無反応が一番
    嫌だ・困る・怖い
    #VOT
    

    View Slide

32. このスキルでは
    結城琴葉ちゃんから美少女ボイスで
    音声でのレビューとコメントを求められる
    32
    だが策はある
    #VOT
    

    View Slide

33. 33
    #VOT 動画中はツイートチャンス！
    https://www.youtube.com/watch?v=AcWaEMqAyZ4
    

    View Slide

34. 音声によるレビューの結果
    118件
    ※重複ユーザーも存在
    ※公開約2週間後
    ※βテストやAmazon社の審査時の数字も含まれる
    34
    #VOT
    表向き2件に対して・・
    

    View Slide

35. 2
    件
    っ
    て
    な
    ん
    だ
    っ
    た
    ん
    だ
    よ
    ！
    © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰
    35
    #VOT
    

    View Slide

36. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    36
    #VOT
    

    View Slide

37. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    ・星7つ
    37
    #VOT
    

    View Slide

38. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    ・星7つ
    ・魂スキルでしたとっても良かったです ※楽しい？
    ・大好きです
    ・かわいらしいキャラクターで素晴らしいと思います
    ・天海丸matlock 欲しい ※展開がまどろっこしい?
    38
    まさにお客様の「声」
    #VOT
    

    View Slide

39. もちろん美少女でなくともフィードバックはもらえる
    39
    「ストップ」と話しかけると
    「いいね」
    「いまいち」
    「ストップ」
    を求められる仕組み
    ※2018年6月リリース ※ASK-SDKを書き換えて動いてます
    #VOT
    

    View Slide

40. 40
    公開から約2か月後の集計結果 合計186件
    リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転
    #VOT
    

    View Slide

41. 声でフィードバックを得るのが最適解
    音声操作をしている中で、レビューのために
    いちいちスマホやPCを操作しない！！
    41
    #VOT
    

    View Slide

42. なのに・・
    Google社、Amazon社、LINE社
    どこも日本で
    やってないな？
    42
    #VOT
    

    View Slide

43. 僕のモットー
    ないなら創ればいい
    43
    #VOT
    

    View Slide

44. View Slide

45. 調査&Try-Errorを繰り返す
    45
    ・データレイク
    ・データウェアハウス
    #VOT
    

    View Slide

46. 46
    https://aws.amazon.com/jp/start-ups/loft/tokyo/
    スタートアップとデベロッパーのための場
    AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・
    Twitterハッシュタグ #AWSLoft
    #VOT
    

    View Slide

47. 特許出願できた
    47
    弁理士さんとのやりとりとか、書類とか大変でした
    ないモノを比較・可視化まで創ってしまったので
    ※
    1つのスキル（音声サービス）単体で音声のレビュー&コメントを実装するのはご自由に。
    ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。
    #VOT
    

    View Slide

48. 48
    ここから、技術的な話をします
    

    View Slide

49. Alexa skill AWS
    Lambda
    システムユーザの
    アレクサのスキル
    Clova
    AWS
    Lambda
    Amazon Kinesis
    Firehose
    S3 bucket
    Amazon
    DynamoDB
    Amazon
    Redshift
    Webページに音声レビュー結果を表示
    Amazon CloudWatch
    Amazon API
    Gateway
    ERRORだけ抜き取る
    エラー通知が飛ぶ。
    AWS Lambda
    まず認証だけやる
    AWS cloud
    3 4
    5
    6
    9
    10
    11-2 12 13 14
    15
    ERRORや障害時のみ
    通知するための動作
    ・認証情報
    Webページから認証情報発行
    1
    2
    7 8
    Amazon
    QuickSight
    AWS Lambda
    10
    12
    invoke
    Amazon Kinesis
    Firehose
    S3 bucket
    11-1
    12
    データをCSV形式
    に変換して流す
    想定される格納デー
    タの生データのまま
    生データ保管用
    Amazon CloudWatch
    API Gatewayを突破
    したらすべて
    CloudWatchにログ
    をためておく
    システム構成概要
    Amazon API
    Gateway
    AWS Lambda
    49
    ※動いた段階の構成。現在は一部異なります。
    #VOT
    

    View Slide

50. 検証の結果使用しなかった
    50
    AWS Glue
    Amazon
    RDS
    AWS
    Lambda
    AWS
    Lambda
    Amazon
    EC2
    S3 bucket Amazon
    Athena
    AWS Elastic
    Beanstalk
    Amazon
    EC2
    Metabase
    AWS
    Batch
    Amazon
    Cognito
    AWS Step
    Functions
    #VOT
    

    View Slide

51. Athena案 維持費は最安値の可能性
    51
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    検索
    #VOT
    Amazon
    QuickSight
    

    View Slide

52. Athena案 けども・・
    52
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    ここに
    お金がかかる
    検索
    #VOT
    Amazon
    QuickSight
    

    View Slide

53. Athena案 けども・・
    53
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    ここに
    お金がかかる
    検索
    #VOT
    どのように分析されるか未知数
    であるためパーティション化が難しい
    Amazon
    QuickSight
    

    View Slide

54. RedShift
    54
    ・
    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    #VOT
    

    View Slide

55. RedShift
    55
    ・
    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    #VOT
    

    View Slide

56. RedShift
    56
    ・
    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    → レビュー、フィードバックコメント、
    人気度（AlexaのsessionId）を
    それぞれ独立列で管理できる
    #VOT
    

    View Slide

57. RedShift
    57
    ・
    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    → レビュー、フィードバックコメント、
    人気度（AlexaのsessionId）を
    それぞれ独立列で管理できる
    ・きちんと設計すれば速い
    → データ分散、ショートクエリ判断、
    リザルトキャッシュ etc..
    #VOT
    

    View Slide

58. サーバレスで運用不要のBIサービス
    58
    Amazon QuickSight
    #VOT
    

    View Slide

59. ダッシュボード
    59
    #VOT
    

    View Slide

60. ダッシュボード
    60
    #VOT
    ※音声のレビューとフィードバックの実装は必須ではない
    

    View Slide

61. 61
    Amazon QuickSightの機械学習
    

    View Slide

62. 例1︓人気が高すぎる場合の異常値検知
    62
    #VOT
    

    View Slide

63. 例２：スキルの伸びしろ予測
    67
    #VOT
    

    View Slide

64. 2018年11月7日リリース
    もちろん情報収集する旨をAmazonに伝えた上での審査一発通過
    70
    そんなシステムを使ったサンプル #VOT
    

    View Slide

65. 71
    #VOT
    

    View Slide

66. このシステムのメリット
    １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    72
    #VOT
    

    View Slide

67. このシステムのメリット
    １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    73
    #VOT
    

    View Slide

68. このシステムのメリット
    １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用中
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    74
    #VOT
    

    View Slide

69. このシステムのメリット
    １．スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用中
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    75
    #VOT
    

    View Slide

70. そして何より
    みんなで切磋琢磨するようになるので、
    VUI業界のスキル（音声サービス）の
    品質が向上される未来が描ける！！
    by VUIプロデューサー
    76
    #VOT
    

    View Slide

71. 技術書典6で本を頒布
    77
    ・2019年4月14日@池袋サンシャイン
    ・電子版をBOOTHで頒布中
    #VOT
    

    View Slide

72. まとめ
    78
    【可視化】&【特許で独占】
    ・スキル（音声サービス）のログ
    ・音声でのレビュー&感想
    ご関心ある方はお声がけを
    #VOT
    

    View Slide

73. 「VUIあるある」の
    ソースコードと利用ドキュメント
    公開予定
    ご関心がある方は懇親会で！
    ※もちろんメールやTwitter等で連絡をいただいても構わないです
    79
    #VOT
    

    View Slide