「音声レビュー・ログデータ収集・分析システム」の話

VUI LT vol.7にて、VUIにおける「音声レビュー・ログデータ収集・分析システム」について登壇した資料です

Transcript

1. 2018/11/12 VUI LT vol.7 ＠サイボウズ
   「音声レビュー・ログデータ収
   集・分析システム」の話
   1
   

   View Slide

2. @surumegohan smartmacchiato.life/
   surumegohan@gmail.com
   surumegohan.hatenablog.com/
   Twitter Blog Gmail Web
   VUI LT登壇4回目
   2
   

   View Slide

3. お約束
   3
   ・この資料は後日公開予定です
   ・メモるよりは #VUILT でツイート！
   ・セッション内容のシステムは今後変更される
   可能性があります。
   むしろリクエスト、ディスカッションください。
   

   View Slide

4. VUIに関してこんなお悩みありませんか？
   4
   

   View Slide

5. こんな悩みありませんか？
   5
   ・VUIやスマートスピーカーに興味あるんだけど、
   どういう音声サービスを見習って作ればいいのかわからない
   

   View Slide

6. こんな悩みありませんか？
   6
   ・VUIやスマートスピーカーに興味あるんだけど、
   どういう音声サービスを見習って作ればいいのかわからない
   ・音声サービス（スキル）作成を誰かに依頼したいけど、
   人気サービスをリリースしている人・企業がわからない
   

   View Slide

7. こんな悩みありませんか？
   7
   ・VUIやスマートスピーカーに興味あるんだけど、
   どういう音声サービスを見習って作ればいいのかわからない
   ・音声サービス（スキル）作成を誰かに依頼したいけど、
   人気サービスをリリースしている人・企業がわからない
   ・既に音声サービスを公開したけど、ユーザーの満足度が
   わからない
   

   View Slide

8. こんな悩みありませんか？
   8
   ・VUIやスマートスピーカーに興味あるんだけど、
   どういう音声サービスを見習って作ればいいのかわからない
   ・音声サービス（スキル）作成を誰かに依頼したいけど、
   人気サービスをリリースしている人・企業がわからない
   ・既に音声サービスを公開したけど、ユーザーの満足度が
   わからない
   ・自分の音声サービスが、他者のサービスと比較できなくて
   改善できない
   

   View Slide

9. そのような方々への
   セッションです！
   9
   

   View Slide

10. 2018年11月7日にリリース
    10
    

    View Slide

11. Alexaスキル「VUIあるある」
    ・VUI業界でアクティブな方々に
    VUIに関する「あるある話」をヒアリング
    ・開発目線、ユーザ目線、子育て目線、プラットフォーム縛りも
    なく募集した結果 約40件のVUIのあるある話を収録
    あるある話を提供してくれた方々
    本当にありがとうございます！
    11
    

    View Slide

12. デモ
    12
    

    View Slide

13. VUIの
    悲しい現実を
    ご紹介
    13
    

    View Slide

14. 本気で個人で作成したスキル：「ヒロインの告白」
    ・声優さん、イラストレーターさんと
    商用ライセンス契約
    ・告白メッセージ100種類以上調査
    リリース後約2週間のUU数：226
    参考：
    Echo Dotがもらえる条件が1か月で100UU
    14
    ※2018年8月リリース
    

    View Slide

15. ところが
    15
    

    View Slide

16. Amazonのスキルストア
    レビュー数 2
    16
    

    View Slide

17. 2
    件
    っ
    て
    な
    ん
    だ
    よ
    ！
    © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰
    17
    

    View Slide

18. このスキルでは
    結城琴葉ちゃんから
    音声でのレビューとコメントを求められる
    18
    だが策はある
    

    View Slide

19. 音声によるレビューの結果
    118件
    ※公開約2週間後
    ※βテストやAmazon社の審査時の数字も含まれる
    19
    

    View Slide

20. 2
    件
    っ
    て
    な
    ん
    だ
    っ
    た
    ん
    だ
    よ
    ！
    © タイトル：ブラックジャックによろしく 著作者名: 佐藤秀峰
    20
    

    View Slide

21. 音声によるフリーコメントの一部
    ・とってもいいスキルでした
    ・星7つ
    ・魂スキルでしたとっても良かったです ※楽しい？
    ・大好きです
    ・かわいらしいキャラクターで素晴らしいと思います
    ・天海丸matlock 欲しい ※展開がまどろっこしい?
    21
    まさにお客様の「声」
    

    View Slide

22. もちろん美少女でなくともフィードバックはもらえる
    22
    「ストップ」と話しかけると
    「いいね」「いまいち」「ストップ」を求められる仕組み
    公開から約2か月後の集計結果 合計186件
    リリース後しばらくは「いいね」が多かったがいつのまにか「いまいち」に逆転
    ※2018年6月リリース
    

    View Slide

23. つまり・・
    スキル（音声サービス）に対する
    レビューとコメントを、そのまま声でやれば
    まさしく
    「お客様の声」
    が個人情報なしで拾える可能性が高まる
    23
    

    View Slide

24. なのに・・
    Google、Amazon、LINE
    どこもやってないな？
    24
    

    View Slide

25. 僕のモットー
    ないなら創ればいい
    25
    

    View Slide

26. コンセプト
    26
    ・API化
    ・インテントの使用状況
    ・★いくつ
    ・フリーコメント
    ・時間
    データ収集
    ・SQLで検索
    ・BIツールでグラフ化
    ・Webページに反映
    分析・可視化
    ・VUIでユーザが違和感
    を持たない応答速度
    ・プラットフォームに
    依存しない設計
    ・極力サーバレス
    こだわり部分
    

    View Slide

27. 27
    https://aws.amazon.com/jp/start-ups/loft/tokyo/
    スタートアップとデベロッパーのための場
    AWS Loft Tokyoにてエキスパートの方々に相談しながら・・・
    Twitterハッシュタグ #AWSLoft
    

    View Slide

28. View Slide

29. Alexa skill AWS
    Lambda
    システムユーザの
    アレクサのスキル
    Clova
    AWS
    Lambda
    Amazon Kinesis
    Firehose
    S3 bucket
    Amazon
    DynamoDB
    Amazon
    Redshift
    Webページに音声レビュー結果を表示
    Amazon CloudWatch
    Amazon API
    Gateway
    ERRORだけ抜き取る
    エラー通知が飛ぶ。
    AWS Lambda
    まず認証だけやる
    AWS cloud
    3 4
    5
    6
    9
    10
    11-2 12 13 14
    15
    ERRORや障害時のみ
    通知するための動作
    ・認証情報
    Webページから認証情報発行
    1
    2
    7 8
    Amazon
    QuickSight
    AWS Lambda
    10
    12
    invoke
    Amazon Kinesis
    Firehose
    S3 bucket
    11-1
    12
    データをCSV形式
    に変換して流す
    想定される格納デー
    タの生データのまま
    生データ保管用
    Amazon CloudWatch
    API Gatewayを突破
    したらすべて
    CloudWatchにログ
    をためておく
    システム構成
    Amazon API
    Gateway
    AWS Lambda
    29
    ※動いた段階の構成。現在はこれよりバージョンアップしてます。
    

    View Slide

30. 特許出願できた
    30
    弁理士さんとのやりとりとか、書類とか大変でした
    ないモノを比較・可視化まで創ってしまったので
    ※
    1つのスキル（音声サービス）単体で音声のレビュー&コメントを実装するのはご自由に。
    ただ、このシステムを利用すると可視化まで既に仕組みができているので便利です。
    

    View Slide

31. 2018年11月7日リリース
    もちろん情報収集する旨をAmazonに伝えた上での審査一発通過
    31
    そんなシステムを使ったサンプル
    

    View Slide

32. https://smartmacchiato.life/vuiaruaru.html 32
    Webページで音声によるレビュー&コメント結果を表示
    

    View Slide

33. 33
    これを全スキル録画・公開している某サイトに綺麗に表示すると・・？
    

    View Slide

34. スキルごとの利用回数比較（人気なら上にくる）
    ログ分析の例
    「VUIあるある」のインテントごとの利用割合
    34
    

    View Slide

35. このシステムのメリット
    １．音声でのレビューやコメントが公平に可視化される仕組みが用意してある
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    35
    

    View Slide

36. このシステムのメリット
    １．音声でのレビューやコメントが公平に可視化される仕組みが用意してある
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    36
    

    View Slide

37. このシステムのメリット
    １．音声でのレビューやコメントが公平に可視化される仕組みが用意してある
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    37
    

    View Slide

38. このシステムのメリット
    １．音声でのレビューやコメントが公平に可視化される仕組みが用意してある
    ２．自分の音声サービスが、ユーザがどのように対話をしているか（インテン
    トを呼び出しているか）認識できる ※グラフの作り方次第
    ３．自分以外の音声サービスの利用状況と比較できる
    → 自分・自社のKPIの指標にするもよし
    人気サービスのリリース者を探して開発依頼をするもよし
    ※既に様々な企業・団体・個人がβ版利用宣言済
    ４．同じロジックのスキルを作成し、GoogleでもAmazonでもLINEでも
    プラットフォームをまたがった比較ができる ※作成中
    38
    

    View Slide

39. 近日、βユーザに
    「VUIあるある」の
    ソースコードと利用ドキュメント
    公開予定
    ご関心がある方は懇親会で！
    ※もちろんメールやTwitter等で連絡をいただいても構わないです
    39
    

    View Slide

40. 直近の比較的大きなVUIイベント情報
    11月15日（木）
    Alexa Salon SP@DEJIMA(五反田）
    ・今回のシステムについて技術的に話します
    ・登壇者が僕以外すごすぎるので是非！
    https://classmethod.connpass.com/event/103739/
    40
    11月23日（祝）
    Mashup Awards ヒーローズリーグ VUIヒーロー賞
    決勝審査会 ＠リレーションズさん(渋谷)
    ・VUIの面白い様々なアイデアがチェックできます！
    https://mashupawards.connpass.com/event/107711/
    12月17日（月） ※募集は明日正午から
    スマートスピーカーを遊びたおす会 vol.4 @IIJさん(飯田橋)
    ・毎回150～300人超のイベントです！
    https://connpass.com/event/109561/
    

    View Slide

41. VUIのない人生は、
    きっとつまらない
    41
    

    View Slide