Monaca UG Nagoya #1 Monacaだって会話UIを実現できる。

Transcript

1. 1 会話UIを実現できる。 M o n a c a U G

   N a g o y a # 1 S T A R T H E R E Monacaだって

2. 2 W H O A M I ? 誰？ ・名前：青島

   英和 ・所属：リブログ合同会社 CEO ・癒し系データサイエンティスト ・Mashup Awards 2018で初代オレトクヒーロー ・2012年からMonacaを使い始めていた。 Twitter : @blue_islands Facebook : fb.me/hidekazu.aoshima

3. 3 Monacaとの歩み H I S T O R Y W

   I T H M O N A C A SECTION 01

4. 4 H I S TO R Y W I T

   H M O N A C A Monacaとの歩み。 星をみるひと 一日の終わりに空を見上げて星 座を見つけてみませんか？帰宅 の時に、疲れた時に、家族と、 恋人と、友人と一緒に星座を探 して、そして、見つけた喜びを みんなでシェアしましょう。 2012/7 ナニハナス ナニハナスは3つのトレンドワー ドを表示します。これらのキー ワードを元に想像をふくらまし て会話を盛り上げましょう。 2012/10 鯖江夕景 鯖江夕景は鯖江市のオープン データの鯖江百景を基に制作し ています。夕景はその日ごとに 違う顔を見せてくれます。鯖江 市の観光地の魅力を引き出すた め、鯖江夕景を活用してくださ い。 2014/2 CotoGoto CotoGotoは、会話の内容を分析 することで、フリーランスの作 業を見える化する時間管理ツー ルです。 2015/7

5. 5 H I S TO R Y W I T

   H M O N A C A Monacaとの歩み。 matatavi Matatavi は２クリックで、旅の プランを作成します。 2018/2 NOW

6. 6 https://chroco.ooo/story/f1d2cf9b-8cdc-4807-a6f6-46e5d5bede4b

7. 7 https://chroco.ooo/story/307921d3-8193-4c61-b6bb-914540a09821

8. 8 https://chroco.ooo/story/5ea1649a31336092c05438df996a3e59

9. 9 https://chroco.ooo/story/c399862d3b9d6b76c8436e924a68c45b

10. 10 https://chroco.ooo/story/ebd9629fc3ae5e9f6611e2ee05a31cef

11. 11 CotoGotoについて A B O U T C O T

    O G O T O SECTION 02

12. 12 A B O U T C O T O

    G O T O CotoGotoについて CotoGoto(コトゴト)は毎日の会話を作業内容として記録し、 作業時間、モチベーションを集計・解析をするWebサービスです。 毎日の会話を人工知能と楽しむことで、 いつの間にかライフログが形成されていきます。 ほかの時間管理との違いは、時間や作業内容以外にも、場所、感情の変 化が紐付くので様々な角度からの解析が可能となります。 また、外部サービスと連携することで、会話からほかのシステムにデー タを引き渡したり、引き取ったり連動することができます。 https://www.cotogoto.ai/

13. 13

14. 14 14

15. 15 やっぱり会話したい I S T I L L W A

    N T T O T A L K SECTION 03

16. 16 音声入力 会話解析 会話生成 音声合成 W R I T E

    A T I T L E I N T H I S S E C T I O N 会話型UIの流れ 音声入力で音声をテキスト化、テキストの会話を解析、会話を生成、音声合成で音源を生成して、再生をして返ってくる。

17. 17 V O I C E I N P U

    T W I T H M O N A C A Monacaでの音声入力 https://press.monaca.io/atsushi/186

18. 18 録音にはcordova-plugin-media-captureを利用する。

19. 19 iPhone7 Plus以降でマイクがずれている。

20. 20 V O I C E I N P U

    T W I T H M O N A C A 会話するためのカスタムプラグインを利用 https://github.com/pbakondy/cordova-plugin-speechrecognition

21. 21 調べるとQiitaに記事が載ってた。 https://qiita.com/r-hashioka/items/70c3d7e8088e4923c2cc

22. 22 クラウドサービスを使わず、Android や iOS が用意している 音声入力キットを利用して、音声認識をします。

23. 23 Cordovaプラグインをインポート

24. 24 let options = { String language, // 言語 Number

    matches , // 結果の候補数 String prompt, //ポップアップウィンドウのプロンプト（Android only） Boolean showPopup, //ポップアップウィンドウをプロンプト付きで表示（Android only） Boolean showPartial // 連続呼び出し } window.plugins.speechRecognition.startListening( Function successCallback, Function errorCallback, Object options ) startListening() AndroidプラットフォームとiOSプラットフォームには違いがあります。 Androidでは、話者が話し終わると（文の終わりに）音声認識が停止します。 iOSで は、ユーザーはstopListening()メソッドを呼び出して、認識プロセスを手動で停止する必要があります。 iOSでshowPartialをtrueに設定すると、stopListening()が呼び出されるまで成功コールバックが複数回呼び出されます。

25. 25 window.plugins.speechRecognition.stopListening( Function successCallback, Function errorCallback ) stopListening() 認識プロセスを停止します。 戻り値はありません。

26. 26 デモ

27. 27 ちなみに、会話解析・会話生成、音声合成は サーバ側で処理をして、音源をストリームで返しています。

28. 28 名古屋のモナカ M o n a c a i n

    N a g o y a SECTION 04

29. 29 https://www.fukyuen.co.jp/

30. 30 http://monakaya.jp/

31. 31 http://shachimonaka.com/