音声対話エンジンを使った中の人がいないバーチャルキャラクターとその先の未来 / XR Kaigi AI Agent API

Transcript

1. 音声対話エンジンを使った 中の人がいないバーチャルキャラクター とその先の未来 株式会社NTTドコモ 藤野 宏暢 だるまジャパン合同会社 尾崎 竜二 北川 正義
2. ドコモ AI エージェント APIとは 2 対話型AIサービスを 簡単に作成できる クラウド型の基盤サービス
3. NTTドコモの自然対話エンジン 累計21.8億件以上の発話ログの蓄積による 対話性能の向上 OHaNAS ATOMプロジェクト 様々な 法人顧客への提供実績 様々なデバイスへの 適用ノウハウ スマホ・タブレットでの 自然な対話 ドコモ AIエージェントAPI おしゃべりロボット for Biz my daiz 自然対話プラットフォーム しゃべってコンシェル 2012年3月1日～ 2015年6月4日～ 2016年5月27日～ 2018年5月30日～
4. 4 スマホ・タブレット用 ドコモの「my daiz 」 ドコモのコンテンツ メンバー企業のコンテンツ etc… 各社のアプリ・デバイス 各法人企業のサービス  
     家電操作 アプリ 対話 サービス 対話 サービス 音声対話利用 エンドユーザ（B2C利用） 音声対話利用 エンドユーザ（B2C・B2B・B2E利用） 対話対応デバイス A社ロボット B社デバイス T U V W X Y Z ／ \ ] ^ W ドコモのエージェントサービス（B2C） 企業・開発者向けサービス（B2B2X） （しゃべコン+iコンシェルの次世代アプリ） ドコモのAIエージェント基盤（API）
5. 例えば、冷蔵庫の 中身に合わせて 今日の献立を 相談できたり・・・ 例えば、投入された 洗濯物に最適な 洗濯方法を 相談できたり・・・ 例えば、机が今日の 予定や、自分の 鍵の場所を 教えてくれたり・・・ “あらゆるモノに対話型AIサービスを提供したい”
6. ドコモAIエージェントの エンジンについて 6
7. ドコモのAIエージェントの心臓部 サービス実装 多目的対話 エンジン “Speak” REST Call Response Device SDK Android Webサーバー上 に自由に実装 テキスト メタデータ 音声 iOS 各種デバイス Web 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS)
8. ドコモのAIエージェントの心臓部 サービス実装 多目的対話 エンジン “Speak” REST Call Response Webサーバー上 に自由に実装 テキスト メタデータ 音声 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS) Device SDK Android iOS 各種デバイス Web
9. Device SDK Android iOS 各種デバイス Web ドコモのAIエージェントの心臓部 サービス実装 REST Call Response Webサーバー上 に自由に実装 多目的対話 エンジン “Speak” テキスト メタデータ 音声 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS)
10. Device SDK Android iOS 各種デバイス Web ドコモのAIエージェントの心臓部 多目的対話 エンジン “Speak” テキスト メタデータ 音声 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS) サービス実装 REST Call Response Webサーバー上 に自由に実装
11. 表現力豊かな 音声合成 xAIMLを使った 自由な対話記述 音声対話に関する システムを ワンパッケージで提供 AIエージェントAPIの特徴
12. 声の種類 12 _ _ _ 3 k g 1 k hjd r 4 4 0 sk b 2 k 0 k yb 0 4 sk i 3 1 k g 0 k yb g 5202 sk i t 0 2 k u 3 k yb 5 4 sk i u 12 20 k zke 3 1 k i 324 sk i 2523 k 3 2 k i 5 0 sk i g k a 0 k i 5 2 sk i 0 0 k 2 2 sk i 4 25 sk 1 1 2 k i 5 sk i t 1 sk 12 k i 0 1 sk i 5 sk r 4 520 k i 5 sk b 0 52 sk a 4 k i nf m o 4 523 sk 4 23 k i a 4 2 sk a 0 2 k i 1 2 k zke 4 3 k hjd 23 k b r 24 0 sk b g 2 2 k 52 sk hjd 0 4 k hjd 4 sk 1 1 0 k _ 3 sk b 2 k b 5 sk b ５０種類以上
13. 13 ドコモAIエージェントAPI 音声合成以外のすごいところ！
14. 音声認識 （ASR ： Automatic Speech Recognition） 14 ・ 世界最高水準の認識率 -国際技術評価イベント「CHiME-3(
    )」で世界1位 (
    ) The 3rd CHiME Speech Separation and Recognition Challenge ・ フィラーを自動で省く - 「えー」「あー」「えーっと」「うーんと」
15. 自然言語処理（NLU : Natural Language Understanding） 15 ・ 会話の中から名前や場所を抽出 「品川駅の近くにある品川さん家に行く」 人名 地名 - 文脈から単語の用途を判断 (ディープラーニングで解析)
16. 音声合成 （TTS : Text to Speech） 16 詳細は後半で！
17. 17 ・ 高速に処理 - タイムラグを感じさせない - 違和感なく対話できる 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS) 音声認識してから音声合成を返すまでの処理速度
18. 18 ドコモAIエージェントAPI xR開発への活用
19. Device SDK 19 版（β）をリリース xR で利用
20. Oculus Quest用 「VR握手会」 ・ AIが人の発話を誘導する ・ 会話の中から名前や場所を抽出 ・ １３００人分のログを解析 ・ 頻出ワードなどマッチ 20 xR開発例①
22. Magic Leap One用 「現実空間をVRMモデルが動いて雑談するデモ」 ・ 雑談エンジン「かたらい」を使用し雑談を実現 ・ 語尾をツンデレ口調に ・ VRMモデルを使用 ・ コントローラーで自由に操作できる 22 xR開発例②
24. Magic Leap One用 ・ 「Docomo Open House 2020」にて展示予定 ・ 近未来の◦◦◦◦◦を体験 ・ VRoid Hub上のVRMモデルを使用可能 ・ 様々な声を使用 24 xR開発例③
25. 25 http://docomo-openhouse.jp/2020/
26. ドコモAIエージェントAPI 便利なツール やさしいマニュアル ハンズオン 26
27. 27 Agentcraft - 対話シナリオをGUIで設計
28. 28 わかりやすいサンプルとマニュアル
29. 29 ハンズオン（勉強会）好評開催中！ 11/19 ドコモR&Dサテライトスペース 11/9 OSC福岡
30. Android iOS Web Device SDK Agentcraft Device SDKも便利なツールもすべて・・・
31. 31 すべての機能を試せる！ めんどうな登録作業なし! トライアル 無料！
32. 中の人がいない バーチャルキャラクターの話
34. AIセバスちゃん 34 大きな赤いリボンが特徴的な、おっち ょこちょいでがんばり屋さんのAI。 音声認識技術、自然言語処理、音声 合成技術を活用しているので、中の 人はいません。ホントだよ。
35. ① 声の感情表現 ② 対話内容
36. 新規で音声合成 モデルを作る
37. ツンデレ
38. 音声合成での キャラクター性と人間らしさ
39. 学習データの音声収録 — 声優のツンデレ声を収録し学習 — ツンデレフレーズを演出側で用意(約250フレーズ) — ツンデレフレーズ + 音声合成作成用のフレーズを収録 モデル作成、演出、声優の三者で 収録音声の検討 再現できるかできないかギリギリを狙った
40. 声のキャラクター性 – ツンデレ – — つっかえ表現 – べ、べつに、あんたのためにやったんじゃないんだからね！ — バカのバリエーション (１０種類以上) — 咳、くしゃみ、笑い、泣き
41. 声の人間らしさ — 声の質(肉声感) — イントネーション — 言葉と言葉の間 パラメーターの調整を頑張る
42. 声質と口調の入れ替え — 声質モデルと口調(話し方)モデルができる — モデルを入れ替えることで別の口調に変えられる 女性 : 10代素朴 ツンデレ 女性 : 10代素朴 ツンデレ
43. D E M O
44. 音声合成技術の話 44
45. 音声合成技術の歴史 45 フォルマント方式（1980年代） 比較的単純な音源音波を元にして、入力テキスト（読み、アクセント）に対する音声 の変化を人手で作成した大量のルール（規則）で表現。 人間の発している音声が時々刻々と変化する様子を再現する方式 規則合成
    
46. 音声合成技術の歴史 フォルマント方式（1980年代） 比較的単純な音源音波を元にして、入力テキスト（読み、アクセント）に対する音声 の変化を人手で作成した大量のルール（規則）で表現。 人間の発している音声が時々刻々と変化する様子を再現する方式 ダイフォン方式（1990年代～） 実際に人間によって話された音声データから、「ダイフォン（二つの音素）」のつなぎ目 の前後を切り取ったデータを多数用意しておき、つなぎ合わせる方式。 あおい：[無音ーあ][あーお][おーい][いー無音] 規則合成  波形接続  
    
47. HMM方式（2010年頃〜） 統計モデルを活用した方式 音声合成技術の歴史 47 フォルマント方式（1980年代） 比較的単純な音源音波を元にして、入力テキスト（読み、アクセント）に対する音声 の変化を人手で作成した大量のルール（規則）で表現。 人間の発している音声が時々刻々と変化する様子を再現する方式 ダイフォン方式（1990年代～） 実際に人間によって話された音声データから、「ダイフォン（二つの音素）」のつなぎ目 の前後を切り取ったデータを多数用意しておき、つなぎ合わせる方式。 あおい：[無音ーあ][あーお][おーい][いー無音] 統計的音声 合成 規則合成 波形接続  
     
      DNN方式 （近年） ディープラーニングを活用した方式
48. DNN音声合成方式 学習DB （話者１） 学習DB （話者２） 学習DB （話者３） あ い う え お 話者間で読みの情報 を補い合って合成 あいうえお あいうえお あいうえお 特定話者による大量の音声（学習データ）が必要だったが 各話者の音声を統合した学習が可能になった よみ+アクセント+話者
49. DNN音声合成方式の価値 — ２、３時間の音声収録で音声モデルの作成が可能に # 通常こんな短時間で作れない！ ? — ツンデレなどのキャラクタ性のある音声も再現可能に # つっかえなどの間の特徴も学習 # どんな声を再現したいか、技術観点とのバランスが取れた収録が肝
50. DNN音声合成方式の価値 50 — ２、３時間の音声収録で音声モデルの作成が可能に # 通常こんな短時間で作れない！ ? — ツンデレなどのキャラクタ性のある音声も再現可能に # どんな声を再現したいか 、技術観点とのバランスが取れた収録が肝 オリジナルの音声モデル作成に興味ある方ぜひご相談ください。 ＃ドコモAIエージェントAPIのプラットフォーム上で動作させることができます
51. 音声合成の未来の話 51
52. これまでの音声合成 52 — 「明瞭さ」→「自然さ」→「肉声感」「多様性」 と進化 — これまでは「生声の再現」が目標 生声の収録音声が100とした場合どこまで近づけることができるか — 音声合成は次のフェーズへ 『 機械で声を作る価値って何だろうか？ 』
53. これからの音声合成 53 — アノテーション作業の自動化 – 人手作業が減る – 高品質な音声モデル作成がより短期間に – 製作コストも低下 コストが下がることで 高品質の音声モデル作成がさらに身近に
54. これからの音声合成 54 — より人間らしく、人間らしさを感じるように – 音の再現にとどまらず、人の頭を再現 – 文脈、シーンからより人間らしく振る舞う技術が発展 – 音声認識と組み合わせで会話が実現できるようになる AIには難しいとされる他者理解やカウンセリングなどの 感情労働に対応できるようになるかも
55. これからの音声合成 55 — ヒトを超えた音声合成 l 機械で声を作るからこその価値 l ヒトではできないこと 例えば） – リアルタイム多人数宛て多言語発話 - 故人の声の復元 、声の保管（音声モデルにお仕事させる） - 好きな声に変身する 、相手の声を変身させる
56. ドコモAIエージェントAPIの 利用方法について 56
57. ・商用利用OK ・有料（発話数課金/年間プラン） ・お申し込みが必要 利用方法 57 ・商用利用NG ・無料 （非保障） ・申し込み不要 (googleアカウント認証) Unity SDK(β ) 
    .      トライアル 商用 
    
58. 58 サービス開発 （自社利用） サービス開発 （他社へ販売） ドキュメントサイト 知る、想像してみる SDKを入手する AgentCraft 試作してみる トライアル環境（お試し）
    
59. 59 音声対話エンジン使って 未来のコンテンツつくってみませんか？