Upgrade to Pro — share decks privately, control downloads, hide ads and more …

VUIのスキル・アクションのログデータ分析システムの話

show
April 23, 2019

 VUIのスキル・アクションのログデータ分析システムの話

2019年4月23日にVOTにて登壇した資料

show

April 23, 2019
Tweet

More Decks by show

Other Decks in Technology

Transcript

  1. 2019/04/23 VOT MEETUP! Vol.9 @株式会社ZEALS オフィス
    VUIのスキル・アクションの
    ログデータ分析システムの話
    1

    View full-size slide

  2. 発表の前に
    2
    ・この資料は後日公開予定です
    ・メモるよりは #VOT でツイート!
    ・セッション内容のシステムは今後変更される
    可能性があります。
    むしろリクエスト、ディスカッションください。

    View full-size slide

  3. @surumegohan smartmacchiato.life/
    [email protected]
    surumegohan.hatenablog.com/
    Twitter Blog Gmail Web
    3
    フリーランス
    VUIプロデューサー/エンジニア
    宮崎 翔平

    View full-size slide

  4. @surumegohan smartmacchiato.life/
    [email protected]
    surumegohan.hatenablog.com/
    Twitter Blog Gmail Web
    4
    フリーランス
    VUIプロデューサー/エンジニア

    View full-size slide

  5. 3つのVUI系コミュニティを運営中
    5
    ・Amazon Alexa Japan User Group (AAJUG) 関東支部
    ・2019年から関東支部発足・主催
    https://aajug.connpass.com/
    ・3か月に1回開催、2019年3月で1周年
    ・300人以上が集まる回もある
    https://kotodama.connpass.com/
    ・2019年4月で8回目の開催
    ・150人以上が集まる回もある
    https://iotlt.connpass.com/
    #VOT

    View full-size slide

  6. 何を創ったか
    6
    スマートスピーカー等の音声サービスの使用状況と
    音声でのレビューやフィードバックを分析するシステム
    #VOT

    View full-size slide

  7. Alexa skill AWS
    Lambda
    システムユーザの
    アレクサのスキル
    Clova
    AWS
    Lambda
    Amazon Kinesis
    Firehose
    S3 bucket
    Amazon
    DynamoDB
    Amazon
    Redshift
    Webページに音声レビュー結果を表示
    Amazon CloudWatch
    Amazon API
    Gateway
    ERRORだけ抜き取る
    エラー通知が飛ぶ。
    AWS Lambda
    まず認証だけやる
    AWS cloud
    3 4
    5
    6
    9
    10
    11-2 12 13 14
    15
    ERRORや障害時のみ
    通知するための動作
    ・認証情報
    Webページから認証情報発行
    1
    2
    7 8
    Amazon
    QuickSight
    AWS Lambda
    10
    12
    invoke
    Amazon Kinesis
    Firehose
    S3 bucket
    11-1
    12
    データをCSV形式
    に変換して流す
    想定される格納デー
    タの生データのまま
    生データ保管用
    Amazon CloudWatch
    API Gatewayを突破
    したらすべて
    CloudWatchにログ
    をためておく
    システム構成概要
    Amazon API
    Gateway
    AWS Lambda
    7
    ※動いた段階の構成。現在は一部異なります。
    #VOT

    View full-size slide

  8. ダッシュボード
    8
    #VOT

    View full-size slide

  9. ダッシュボード
    9
    #VOT

    View full-size slide

  10. 経歴(会社員時代)
    10
    DBA QA・SET DevOps推進
    #VOT
    JSTQB FL

    View full-size slide

  11. 経歴
    11
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI(スマートスピーカー)に
    専念したくサクッと無職
    #VOT

    View full-size slide

  12. 経歴
    12
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI(スマートスピーカー)に
    専念したくサクッと無職
    → フリーランス
    #VOT

    View full-size slide

  13. 経歴
    13
    元DBA・QAエンジニア・DevOps推進
    → 2018年4月にVUI(スマートスピーカー)に
    専念したくサクッと無職
    → フリーランス
    → 某社CTO内定、大人の事情で白紙
    #VOT

    View full-size slide

  14. 14
    本日は技術的な話を中心にします

    View full-size slide

  15. 15
    ・VUIに対する悩み、課題
    ・課題へのソリューション
    ・システム構成
    ・Amazon QuickSightの機械学習対応
    本日は技術的な話を中心にします

    View full-size slide

  16. 最近非常によく言われる
    16
    ・本件の権利類はSmartHacks社から僕のモノ
    になりました
    #VOT

    View full-size slide

  17. VUIに関してこんなお悩みありませんか?
    18

    View full-size slide

  18. こんな悩みありませんか?
    19
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    #VOT

    View full-size slide

  19. こんな悩みありませんか?
    20
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス(スキル)作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    #VOT

    View full-size slide

  20. こんな悩みありませんか?
    21
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス(スキル)作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    ・既に音声サービスを公開したけど、ユーザーの満足度が
    わからない
    #VOT

    View full-size slide

  21. こんな悩みありませんか?
    22
    ・VUIやスマートスピーカーに興味あるんだけど、
    どういう音声サービスを見習って作ればいいのかわからない
    ・音声サービス(スキル)作成を誰かに依頼したいけど、
    人気サービスをリリースしている人・企業がわからない
    ・既に音声サービスを公開したけど、ユーザーの満足度が
    わからない
    ・自分の音声サービスが、他者のサービスと比較できなくて
    改善できない
    #VOT

    View full-size slide

  22. だから
    データ分析が必要
    23

    View full-size slide

  23. 2018年11月7日にリリース
    24
    #VOT

    View full-size slide

  24. 25
    #VOT 動画中はツイートチャンス!
    https://www.youtube.com/watch?v=8I4eQMEBeaA

    View full-size slide

  25. VUIの
    悲しい現実を
    ご紹介
    26
    #VOT

    View full-size slide

  26. Amazonのスキルストア
    レビュー数 ?
    27
    UUが
    数百人の一方で・・
    #VOT

    View full-size slide

  27. Amazonのスキルストア
    レビュー数 2
    28
    #VOT
    UUが
    数百人の一方で・・

    View full-size slide

  28. 2








    © タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰
    29

    View full-size slide

  29. ユーザーからのフィードバックが欲しい!
    それは、たとえネガティブでも良い
    30
    何かのサービス、アプリを公開したら
    #VOT

    View full-size slide

  30. ユーザーからのフィードバックが欲しい!
    それは、たとえネガティブでも良い
    31
    何かのサービス、アプリを公開したら
    無反応が一番
    嫌だ・困る・怖い
    #VOT

    View full-size slide

  31. このスキルでは
    結城琴葉ちゃんから美少女ボイスで
    音声でのレビューとコメントを求められる
    32
    だが策はある
    #VOT

    View full-size slide

  32. 33
    #VOT 動画中はツイートチャンス!
    https://www.youtube.com/watch?v=AcWaEMqAyZ4

    View full-size slide

  33. 音声によるレビューの結果
    118件
    ※重複ユーザーも存在
    ※公開約2週間後
    ※βテストやAmazon社の審査時の数字も含まれる
    34
    #VOT
    表向き2件に対して・・

    View full-size slide

  34. 2












    © タイトル:ブラックジャックによろしく 著作者名: 佐藤秀峰
    35
    #VOT

    View full-size slide

  35. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    36
    #VOT

    View full-size slide

  36. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    ・星7つ
    37
    #VOT

    View full-size slide

  37. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    ・星7つ
    ・魂スキルでしたとっても良かったです ※楽しい?
    ・大好きです
    ・かわいらしいキャラクターで素晴らしいと思います
    ・天海丸matlock 欲しい ※展開がまどろっこしい?
    38
    まさにお客様の「声」
    #VOT

    View full-size slide

  38. もちろん美少女でなくともフィードバックはもらえる
    39
    「ストップ」と話しかけると
    「いいね」
    「いまいち」
    「ストップ」
    を求められる仕組み
    ※2018年6月リリース ※ASK-SDKを書き換えて動いてます
    #VOT

    View full-size slide

  39. 40
    公開から約2か月後の集計結果 合計186件
    リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転
    #VOT

    View full-size slide

  40. 声でフィードバックを得るのが最適解
    音声操作をしている中で、レビューのために
    いちいちスマホやPCを操作しない!!
    41
    #VOT

    View full-size slide

  41. なのに・・
    Google社、Amazon社、LINE社
    どこも日本で
    やってないな?
    42
    #VOT

    View full-size slide

  42. 僕のモットー
    ないなら創ればいい
    43
    #VOT

    View full-size slide

  43. 調査&Try-Errorを繰り返す
    45
    ・データレイク
    ・データウェアハウス
    #VOT

    View full-size slide

  44. 46
    https://aws.amazon.com/jp/start-ups/loft/tokyo/
    スタートアップとデベロッパーのための場
    AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・
    Twitterハッシュタグ #AWSLoft
    #VOT

    View full-size slide

  45. 特許出願できた
    47
    弁理士さんとのやりとりとか、書類とか大変でした
    ないモノを比較・可視化まで創ってしまったので

    1つのスキル(音声サービス)単体で音声のレビュー&コメントを実装するのはご自由に。
    ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。
    #VOT

    View full-size slide

  46. 48
    ここから、技術的な話をします

    View full-size slide

  47. Alexa skill AWS
    Lambda
    システムユーザの
    アレクサのスキル
    Clova
    AWS
    Lambda
    Amazon Kinesis
    Firehose
    S3 bucket
    Amazon
    DynamoDB
    Amazon
    Redshift
    Webページに音声レビュー結果を表示
    Amazon CloudWatch
    Amazon API
    Gateway
    ERRORだけ抜き取る
    エラー通知が飛ぶ。
    AWS Lambda
    まず認証だけやる
    AWS cloud
    3 4
    5
    6
    9
    10
    11-2 12 13 14
    15
    ERRORや障害時のみ
    通知するための動作
    ・認証情報
    Webページから認証情報発行
    1
    2
    7 8
    Amazon
    QuickSight
    AWS Lambda
    10
    12
    invoke
    Amazon Kinesis
    Firehose
    S3 bucket
    11-1
    12
    データをCSV形式
    に変換して流す
    想定される格納デー
    タの生データのまま
    生データ保管用
    Amazon CloudWatch
    API Gatewayを突破
    したらすべて
    CloudWatchにログ
    をためておく
    システム構成概要
    Amazon API
    Gateway
    AWS Lambda
    49
    ※動いた段階の構成。現在は一部異なります。
    #VOT

    View full-size slide

  48. 検証の結果使用しなかった
    50
    AWS Glue
    Amazon
    RDS
    AWS
    Lambda
    AWS
    Lambda
    Amazon
    EC2
    S3 bucket Amazon
    Athena
    AWS Elastic
    Beanstalk
    Amazon
    EC2
    Metabase
    AWS
    Batch
    Amazon
    Cognito
    AWS Step
    Functions
    #VOT

    View full-size slide

  49. Athena案 維持費は最安値の可能性
    51
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    検索
    #VOT
    Amazon
    QuickSight

    View full-size slide

  50. Athena案 けども・・
    52
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    ここに
    お金がかかる
    検索
    #VOT
    Amazon
    QuickSight

    View full-size slide

  51. Athena案 けども・・
    53
    Amazon
    Kinesis Firehose
    S3 bucket
    AWS
    Lambda
    Parquet形式変換
    Amazon
    Athena
    ここに
    お金がかかる
    検索
    #VOT
    どのように分析されるか未知数
    であるためパーティション化が難しい
    Amazon
    QuickSight

    View full-size slide

  52. RedShift
    54

    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    #VOT

    View full-size slide

  53. RedShift
    55

    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    #VOT

    View full-size slide

  54. RedShift
    56

    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    → レビュー、フィードバックコメント、
    人気度(AlexaのsessionId)を
    それぞれ独立列で管理できる
    #VOT

    View full-size slide

  55. RedShift
    57

    Amazon
    Redshift
    ・データ分析をBIツールでやるなら、やはりRedShift
    ・列指向
    → レビュー、フィードバックコメント、
    人気度(AlexaのsessionId)を
    それぞれ独立列で管理できる
    ・きちんと設計すれば速い
    → データ分散、ショートクエリ判断、
    リザルトキャッシュ etc..
    #VOT

    View full-size slide

  56. サーバレスで運用不要のBIサービス
    58
    Amazon QuickSight
    #VOT

    View full-size slide

  57. ダッシュボード
    59
    #VOT

    View full-size slide

  58. ダッシュボード
    60
    #VOT
    ※音声のレビューとフィードバックの実装は必須ではない

    View full-size slide

  59. 61
    Amazon QuickSightの機械学習

    View full-size slide

  60. 例1︓人気が高すぎる場合の異常値検知
    62
    #VOT

    View full-size slide

  61. 例2:スキルの伸びしろ予測
    67
    #VOT

    View full-size slide

  62. 2018年11月7日リリース
    もちろん情報収集する旨をAmazonに伝えた上での審査一発通過
    70
    そんなシステムを使ったサンプル #VOT

    View full-size slide

  63. このシステムのメリット
    1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン
    トを呼び出しているか)認識できる ※グラフの作り方次第
    3.自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    72
    #VOT

    View full-size slide

  64. このシステムのメリット
    1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン
    トを呼び出しているか)認識できる ※グラフの作り方次第
    3.自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    73
    #VOT

    View full-size slide

  65. このシステムのメリット
    1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン
    トを呼び出しているか)認識できる ※グラフの作り方次第
    3.自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用中
    4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    74
    #VOT

    View full-size slide

  66. このシステムのメリット
    1.スキルの利用頻度や、音声でのレビューやコメントが公平に可視化される
    仕組みが用意してあるのでスクラッチしなくていい
    2.自分の音声サービスが、ユーザがどのように対話をしているか(インテン
    トを呼び出しているか)認識できる ※グラフの作り方次第
    3.自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用中
    4.同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    75
    #VOT

    View full-size slide

  67. そして何より
    みんなで切磋琢磨するようになるので、
    VUI業界のスキル(音声サービス)の
    品質が向上される未来が描ける!!
    by VUIプロデューサー
    76
    #VOT

    View full-size slide

  68. 技術書典6で本を頒布
    77
    ・2019年4月14日@池袋サンシャイン
    ・電子版をBOOTHで頒布中
    #VOT

    View full-size slide

  69. まとめ
    78
    【可視化】&【特許で独占】
    ・スキル(音声サービス)のログ
    ・音声でのレビュー&感想
    ご関心ある方はお声がけを
    #VOT

    View full-size slide

  70. 「VUIあるある」の
    ソースコードと利用ドキュメント
    公開予定
    ご関心がある方は懇親会で!
    ※もちろんメールやTwitter等で連絡をいただいても構わないです
    79
    #VOT

    View full-size slide