20190208 DroidKaigi2019

Slide 1

Slide 1 text

Dialogflowによる自然言語処理 (NLP)を用いたボイスコマンド音声認識の精度向上 DroidKaigi 2019 2019/02/08 10:30-11:00 @Room1 Drivemode, Inc. KAKKA (Nobuhisa Hirata) @KAKKA_Blog

Slide 2

Slide 2 text

自己紹介 KAKKA DroidKaigi 2017 音声認識と連続音声認識について DroidKaigi 2018 ActivityRecognitionについて

Slide 3

Slide 3 text

目次 ● ボイスコマンド音声認識の実現方法 ○ シンプルかつ単一要件の場合 ○ 複雑または複数要件の場合 ● Dialogflow ○ 概要 ○ 使い方 ● 音声認識率改善結果について

Slide 4

Slide 4 text

ボイスコマンド音声認識の実現方法

Slide 5

Slide 5 text

シンプルかつ単一要件の場合

Slide 6

Slide 6 text

シンプルかつ単一要件の場合押す

Slide 7

Slide 7 text

シンプルかつ単一要件の場合私は押すことができます。ボタン押せるヤツ

Slide 8

Slide 8 text

シンプルかつ単一要件の場合押してボタン押せるヤツ

Slide 9

Slide 9 text

シンプルかつ単一要件の場合ピンポーン！ボタン押せるヤツ

Slide 10

Slide 10 text

シンプルかつ単一要件の場合ボタン押せるヤツ音声認識キーワード辞書押す能力

Slide 11

Slide 11 text

シンプルかつ単一要件の場合音声認識 SpeechRecognizer recognizer = SpeechRecognizer.createSpeechRecognizer(application); recognizer.setRecognitionListener(new RecognitionListener() { ... @Override public void onResults(Bundle results) { List recognitionResultList = results.getStringArrayList(SpeechRecognizer.RESULTS_RECOGNITION); } ... }); recognizer.startListening(new Intent(RecognizerIntent.ACTION_RECOGNIZE_SPEECH));

Slide 12

Slide 12 text

シンプルかつ単一要件の場合キーワード辞書 String[] dictionary = {"押す", "押せ", "押し", "雄", "推し"}; for (String keyword : dictionary) { if (recognitionResult.contains(keyword)) { return true; } } 押す

Slide 13

Slide 13 text

Slide 14

Slide 14 text

複雑または複数要件の場合音楽再生したい注文したい教えてほしい喋りたい案内してほしいメッセージ送りたい電話かけたい

Slide 15

Slide 15 text

複雑または複数要件の場合私はいろいろできます。いろいろできるヤツ

Slide 16

Slide 16 text

複雑または複数要件の場合よかろう！いろいろできるヤツ東京駅まで連れてって〜ヘビメタの音楽を再生母に電話かけて Androidって何？

Slide 17

Slide 17 text

複雑または複数要件の場合いろいろできるヤツ音声認識自然言語処理いろんな実行能力

Slide 18

Slide 18 text

複雑または複数要件の場合いろいろできるヤツ音声認識自然言語処理いろんな実行能力 Dialogflowを使う

Slide 19

Slide 19 text

Dialogflow

Slide 20

Slide 20 text

Dialogflowの概要教師データを用いた学習により、自然言語処理を行う 9時に東京に案内して要件: 案内時間: 9時目的地: 東京

Slide 21

Slide 21 text

Dialogflowの概要 9時に東京に案内して時間場所学習データ

Slide 22

Slide 22 text

Dialogflowの概要 9時に東京に案内して時間場所学習データ 10時に岐阜に案内して 10時に岐阜に案内します

Slide 23

Slide 23 text

Dialogflowの概要いつ、どこに、案内するなかったら今で良いなかったら案内できない。必須パラメータ命令に必要な情報の管理も可能

Slide 24

Slide 24 text

Dialogflowの概要 9時に東京に案内して学習データ案内してどこに？滋賀県 (今から)滋賀県に案内します必須パラメータ

Slide 25

Slide 25 text

Dialogflowの使い方

Slide 26

Slide 26 text

Dialogflowの使い方 Intent Entity Agent 要件を判別パラメータ検出パラメータの種類定義

Slide 27

Slide 27 text

Intent Entity Agent Dialogflowの使い方

Slide 28

Slide 28 text

Intentの設定画面 Training phrases Dialogflowの使い方学習させる文章を入力

Slide 29

Slide 29 text

Dialogflowの使い方検出したいパラメータを定義

Slide 30

Slide 30 text

必須パラメータにできる Dialogflowの使い方

Slide 31

Slide 31 text

リスト形式のパラメータにできる Dialogflowの使い方

Slide 32

Slide 32 text

動作確認 Dialogflowの使い方

Slide 33

Slide 33 text

Training phrases Dialogflowの使い方

Slide 34

Slide 34 text

{ "queryText": "amazon musicで陰陽座を再生", "action": "音楽再生", "parameters": { "MusicAppName": "amazon music", "ArtistName": "陰陽座" }, … } Dialogflowの使い方

Slide 35

Slide 35 text

Intent リスト形式のパラメータにできる Dialogflowの使い方

Slide 36

Slide 36 text

{ "queryText": "陰陽座をSpotifyで再生", "action": "音楽再生", "parameters": { "MusicAppName": "Spotify", "ArtistName": ["陰陽座"] }, … } Dialogflowの使い方

Slide 37

Slide 37 text

Android Dialogflowの使い方 Androidから使うには？

Slide 38

Slide 38 text

Android SpeechRecognizer “音楽を再生” Dialogflowの使い方

Slide 39

Slide 39 text

Android SpeechRecognizer “音楽を再生” Dialogflowの使い方

Slide 40

Slide 40 text

Android SpeechRecognizer “音楽を再生” { "queryText": "音楽を再生", "action": "音楽再生", "parameters": { "MusicAppName": "", "ArtistName": "" }, … } Dialogflowの使い方

Slide 41

Slide 41 text

Android AIConfiguration config = new AIConfiguration( DIALOG_FLOW_TOKEN, ai.api.AIConfiguration.SupportedLanguages.English, AIConfiguration.RecognitionEngine.System ); aiDataService = new AIDataService(application, config); AIRequest aiRequest = new AIRequest(); aiRequest.setQuery(recognizedText); aiRequest.setResetContexts(resetContext); AIResponse response = aiDataService.request(aiRequest); Dialogflowの使い方

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Android 自社サーバー (1) get token V2 Dialogflowの使い方

Slide 44

Slide 44 text

Android 自社サーバー (1) get token (2) authentication V2 Dialogflowの使い方

Slide 45

Slide 45 text

Android 自社サーバー (1) get token (2) authentication (3) return token V2 Dialogflowの使い方

Slide 46

Slide 46 text

Android 自社サーバー (1) get token (2) authentication (3) return token (4) return token V2 Dialogflowの使い方

Slide 47

Slide 47 text

Android 自社サーバー (1) get token (2) authentication (3) return token (4) return token (5) detect intent V2 Dialogflowの使い方

Slide 48

Slide 48 text

Android 自社サーバー (1) get token (2) authentication (3) return token (4) return token (5) detect intent (6) return result V2 Dialogflowの使い方

Slide 49

Slide 49 text

Android 自社サーバー (1) detect intent V2 Dialogflowの使い方

Slide 50

Slide 50 text

Android 自社サーバー (1) detect intent (2) authentication V2 Dialogflowの使い方

Slide 51

Slide 51 text

Android 自社サーバー (1) detect intent (2) authentication (3) return token V2 Dialogflowの使い方

Slide 52

Slide 52 text

Android 自社サーバー (1) detect intent (2) authentication (3) return token (4) detect intent V2 Dialogflowの使い方

Slide 53

Slide 53 text

Android 自社サーバー (1) detect intent (2) authentication (3) return token (4) detect intent (5) return result V2 Dialogflowの使い方

Slide 54

Slide 54 text

Android 自社サーバー (1) detect intent (2) authentication (3) return token (4) detect intent (5) return result (6) return result V2 Dialogflowの使い方

Slide 55

Slide 55 text

Intent Entity Agent Dialogflowの使い方

Slide 56

Slide 56 text

Entity Intentで検出するパラメータのうち、決まった候補(Entity)の中から検出するために用いる Spotifyでマイケル・ジャクソンを再生 PlayerName MusicArtistName Dialogflowの使い方

Slide 57

Slide 57 text

Spotifyでマイケル・ジャクソンを再生 PlayerName MusicArtistName Spotify Amazon Music Google Play Music Apple Music Entity Dialogflowの使い方

Slide 58

Slide 58 text

Entityの画面 Dialogflowの使い方

Slide 59

Slide 59 text

Dialogflowの使い方 Intentの画面に戻る

Slide 60

Slide 60 text

Dialogflowの使い方 Intentの画面に戻る

Slide 61

Slide 61 text

Dialogflowの使い方 Intentの画面に戻る特定のMusicAppNameのみパラメータとして検出

Slide 62

Slide 62 text

System Entity デフォルトで様々なEntityが定義されている。 Dialogflowの使い方

Slide 63

Slide 63 text

DestinationEntityを新規作成住所検出 city name検出観光スポット検出 Dialogflowの使い方

Slide 64

Slide 64 text

Intentの設定画面にもどる Dialogflowの使い方

Slide 65

Slide 65 text

System Entity Dialogflowの使い方

Slide 66

Slide 66 text

System Entityにより住所を検出 Dialogflowの使い方

Slide 67

Slide 67 text

System Entityによって検出されず Dialogflowの使い方

Slide 68

Slide 68 text

Entityに追加してやる Dialogflowの使い方

Slide 69

Slide 69 text

DestinationEntityによって検出 Dialogflowの使い方

Slide 70

Slide 70 text

Entityから消して、Training phrasesに追加すると？ Dialogflowの使い方

Slide 71

Slide 71 text

Entityから消して、Training phrasesに追加すると？ Dialogflowの使い方

Slide 72

Slide 72 text

Entityから消して、Training phrasesに追加すると？検出されない！という仕様らしい Dialogflowの使い方

Slide 73

Slide 73 text

Entityに固有名詞をすべて定義するのは難しい Dialogflowの使い方

Slide 74

Slide 74 text

「スターバックス」のような固有名詞を検出できるSystem Entity はあるのか？ Dialogflowの使い方ない！

Slide 75

Slide 75 text

System Entity: @sys.any なんでも検出できるEntity Dialogflowの使い方

Slide 76

Slide 76 text

System Entity: @sys.any Dialogflowの使い方

Slide 77

Slide 77 text

Dialogflowの使い方

Slide 78

Slide 78 text

System Entity: @sys.any ↓ なんでも検出できるように Dialogflowの使い方

Slide 79

Slide 79 text

ボイスコマンド音声認識率の改善

Slide 80

Slide 80 text

音声認識率の改善 →音声認識部分はAndroidのSpeechReocgnizerに頼る →正しいintent検出の精度を上げる音声認識率の改善

Slide 81

Slide 81 text

いろいろできるマンは何ができる？私はいろいろできます。いろいろできるヤツ

Slide 82

Slide 82 text

ユーザーはなんでも聞いてしまういや、無理っす。いろいろできるヤツ日本の将来は？あの娘の好きな人は？俺、実は既婚者なんだトリプルアクセルして 100mを10秒台で走ってコード書いて

Slide 83

Slide 83 text

自信を持ってできることを明確に私はいろいろできます。いろいろできるヤツナビゲーションと音楽再生と電話発信とメール送信

Slide 84

Slide 84 text

私はいろいろできます。いろいろできるマンナビゲーションと音楽再生と電話発信とメール送信得意なことをユーザーに伝える自信を持ってできることを明確に

Slide 85

Slide 85 text

まずは学習データ集め最初はユーザーがなんと命令するかというデータがないので、自分で頑張ってTraining phrasesに定義する。

Slide 86

Slide 86 text

アノテーション作業

Slide 87

Slide 87 text

アノテーション作業 DialogflowのTrainingページだとやりづらい自分で解析ツール作るのがいいかも

Slide 88

Slide 88 text

音声認識の揺れを吸収音楽を再生 “雲鶴を再製” “雲鶴を再製” を学習アノテーション作業においてユーザーの意図を読み取ることが重要

Slide 89

Slide 89 text

App Launch 音声認識率の改善結果 Navigation Play Music Send Message Place a Call キーワード辞書マッチングしてた頃 VS Dialogflowで学習させたあと

Slide 90

Slide 90 text

No match率の変化音声認識率の改善結果 32.6% 17.3%

Slide 91

Slide 91 text

まとめ(1/2) ● ボイスコマンドの要件がシンプルな場合はDialogflowを使うまでもない ● ボイスコマンドの要件が複雑な場合、自然言語処理が必要。 Dialogflowを使うと便利 ● Dialogflowの基本はIntentとEntity ○ Intentは要件を判別、パラメータ検出 ○ Entityはパラメータの種類定義

Slide 92

Slide 92 text

まとめ(2/2) ● ボイスコマンド音声認識率改善のためにDialogflowが活用できる ○ 予めユーザーにできることを伝える ○ データ集めからスタート ○ アノテーション作業は地道にがんばる ○ 音声認識の揺れを考慮し、本当にユーザーがやりたいことを考えてアノテーション作業を行う

Slide 93

Slide 93 text

宣伝: Androidエンジニア 1人募集中 ● Drivemode, Inc. ○ 車運転者向けのスマホアプリ提供 ○ 世界中にユーザーがいるが、アメリカ・ファースト ○ アーリーステージ（シリーズA）のスタートアップ ○ シリコンバレーの会社だけど、東京支社もあり ○ 公用語は英語、英語必須だけどやる気あればOK ○ 多国籍企業で英語力上がります ○ サーバーエンジニアも募集中応募方法 →LinkedInかIndeedから応募か、私に連絡！(Twitterでも何でも)