Kingyo AI Naviアプリ開発 / Kingyo AI Navi App

2019年6月30日開催の「【奈良】GCPUG in Nara #4 ～ 奈良1周年!! IoT × GCP ～」のLT資料です.

Transcript

1. GCPUG in Nara #4 LT Kingyo AI Navi アプリ開発 2019.6.30 CODE for YAMATOKORIYAMA Moonlight 明日香
2. 自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com NARA  鶴田 彰  (昔の)得意分野 ： パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc)  コミュニティ活動 ： GCPUG NARA Organizer CODE for YAMATOKORIYAMA
3. 金魚の街「大和郡山市」 金魚の水槽やオブジェなどが街中にあふれている. まだまだ金魚をアピールできる余地がある. 2018年 金魚愛[AI]育成プロジェクト発足
4. 2019.3.16 アイデア部門 金賞受賞!!
5. Kingyo AI Naviとは ① 金魚にカメラをかざすと, 金魚の種類を推定!
6. Kingyo AI Naviとは ② 金魚の特長・飼い方と 必要な道具がわかる! などなど ③ 金魚の入手先(生息地)や関連 スポットをマップ上に表示
7. 今日お話しすること 「LINE Bot × GCP」で アプリ化を考えてみた話!!
8. なぜLINE Bot? ネイティブアプリ  メリット少ないとそもそもインストールさえされない!!  AndroidとiPhoneの両方作成が必要. LINE Botの枠組み利用  Kingyo AI Naviに友達申請するだけ!!  LINEアプリはAndroid, iPhoneどちらでも利用可.
9. システム構成 金魚の種類判定 質問文のタイプ判定 金魚, 郡山市情報
10. 試したこと 金魚画像を送って種類判定 文字による問い合せの質問タイプの判定 判定結果に基づいた応答文表示 LINE Messaging APIのメッセージの表示タイプ調査
11. 金魚の種別判定 22種類 約940サンプル (Data Augmentationで約10000サンプルに) 学習時間5時間で 0.928
12. 質問文のタイプ判定 質問文 ・金魚の育て方 ・金魚の病気 ・郡山のイベント ・金魚スポット ： 入力のゆらぎ対応 例) 金魚の育て方 (を教えて) きんぎょ キンギョ 金魚 育て方 飼い方 飼育方法 飼育法 ： × Entities ー 教えて わかる？ ： × 組み合わせの表現に対応!!
13. LINEのメッセージオブジェクト  テキストメッセージ  画像/動画/音声メッセージ  位置情報メッセージ  スタンプメッセージ  テンプレートメッセージ (ボタンテンプレート)  テンプレートメッセージ (確認テンプレート)  テンプレートメッセージ (カルーセルテンプレート)
14. デモ デモ
15. 現状の課題 仕様面：  ユーザが友達申請してくれるような魅力あるアプリ仕様を策 定する.  問い合わせで対応する範囲が決まっていない. 技術面：  金魚種類判定の際にAutoML Visionからのレスポンスが遅い.  応答で表示する情報について, 最新情報をどのように取得す るか?  GCE ⇒ Cloud Functionsに移行すべきか?
16. 今後やってくこと  Kingo AI Naviアプリの仕様明確化と開発  イベントで収集した金魚画像データの活用  金魚関連情報の収集と活用 Kingo AI Navi実現プロジェクト
17. 17 Thank You!