Kingyo AI Naviアプリ開発 / Kingyo AI Navi App

Transcript

1. GCPUG in Nara #4 LT Kingyo AI Navi アプリ開発 2019.6.30

   CODE for YAMATOKORIYAMA Moonlight 明日香

2. 自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com NARA 

   鶴田 彰  (昔の)得意分野 ： パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc)  コミュニティ活動 ： GCPUG NARA Organizer CODE for YAMATOKORIYAMA

3. 金魚の街「大和郡山市」 金魚の水槽やオブジェなどが街中にあふれている. まだまだ金魚をアピールできる余地がある. 2018年 金魚愛[AI]育成プロジェクト発足

4. 2019.3.16 アイデア部門 金賞受賞!!

5. Kingyo AI Naviとは ① 金魚にカメラをかざすと, 金魚の種類を推定!

6. Kingyo AI Naviとは ② 金魚の特長・飼い方と 必要な道具がわかる! などなど ③ 金魚の入手先(生息地)や関連 スポットをマップ上に表示

7. 今日お話しすること 「LINE Bot × GCP」で アプリ化を考えてみた話!!

8. なぜLINE Bot? ネイティブアプリ  メリット少ないとそもそもインストールさえされない!!  AndroidとiPhoneの両方作成が必要. LINE Botの枠組み利用 

   Kingyo AI Naviに友達申請するだけ!!  LINEアプリはAndroid, iPhoneどちらでも利用可.

9. システム構成 金魚の種類判定 質問文のタイプ判定 金魚, 郡山市情報

10. 試したこと 金魚画像を送って種類判定 文字による問い合せの質問タイプの判定 判定結果に基づいた応答文表示 LINE Messaging APIのメッセージの表示タイプ調査

11. 金魚の種別判定 22種類 約940サンプル (Data Augmentationで約10000サンプルに) 学習時間5時間で 0.928

12. 質問文のタイプ判定 質問文 ・金魚の育て方 ・金魚の病気 ・郡山のイベント ・金魚スポット ： 入力のゆらぎ対応 例) 金魚の育て方

    (を教えて) きんぎょ キンギョ 金魚 育て方 飼い方 飼育方法 飼育法 ： × Entities ー 教えて わかる？ ： × 組み合わせの表現に対応!!

13. LINEのメッセージオブジェクト  テキストメッセージ  画像/動画/音声メッセージ  位置情報メッセージ  スタンプメッセージ 

    テンプレートメッセージ (ボタンテンプレート)  テンプレートメッセージ (確認テンプレート)  テンプレートメッセージ (カルーセルテンプレート)

14. デモ デモ

15. 現状の課題 仕様面：  ユーザが友達申請してくれるような魅力あるアプリ仕様を策 定する.  問い合わせで対応する範囲が決まっていない. 技術面：  金魚種類判定の際にAutoML

    Visionからのレスポンスが遅い.  応答で表示する情報について, 最新情報をどのように取得す るか?  GCE ⇒ Cloud Functionsに移行すべきか?

16. 今後やってくこと  Kingo AI Naviアプリの仕様明確化と開発  イベントで収集した金魚画像データの活用  金魚関連情報の収集と活用 Kingo

    AI Navi実現プロジェクト

17. 17 Thank You!