GCPUG in Nara #4 LT Kingyo AI Navi アプリ開発 2019.6.30 CODE for YAMATOKORIYAMA Moonlight 明日香 

自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com NARA  鶴田 彰  (昔の)得意分野 ： パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc)  コミュニティ活動 ： GCPUG NARA Organizer CODE for YAMATOKORIYAMA 

金魚の街「大和郡山市」 金魚の水槽やオブジェなどが街中にあふれている. まだまだ金魚をアピールできる余地がある. 2018年 金魚愛[AI]育成プロジェクト発足 

2019.3.16 アイデア部門 金賞受賞!! 

Kingyo AI Naviとは ① 金魚にカメラをかざすと, 金魚の種類を推定! 

Kingyo AI Naviとは ② 金魚の特長・飼い方と 必要な道具がわかる! などなど ③ 金魚の入手先(生息地)や関連 スポットをマップ上に表示 

今日お話しすること 「LINE Bot × GCP」で アプリ化を考えてみた話!! 

なぜLINE Bot? ネイティブアプリ  メリット少ないとそもそもインストールさえされない!!  AndroidとiPhoneの両方作成が必要. LINE Botの枠組み利用  Kingyo AI Naviに友達申請するだけ!!  LINEアプリはAndroid, iPhoneどちらでも利用可. 

システム構成 金魚の種類判定 質問文のタイプ判定 金魚, 郡山市情報 

試したこと 金魚画像を送って種類判定 文字による問い合せの質問タイプの判定 判定結果に基づいた応答文表示 LINE Messaging APIのメッセージの表示タイプ調査 

金魚の種別判定 22種類 約940サンプル (Data Augmentationで約10000サンプルに) 学習時間5時間で 0.928 

質問文のタイプ判定 質問文 ・金魚の育て方 ・金魚の病気 ・郡山のイベント ・金魚スポット ： 入力のゆらぎ対応 例) 金魚の育て方 (を教えて) きんぎょ キンギョ 金魚 育て方 飼い方 飼育方法 飼育法 ： × Entities ー 教えて わかる？ ： × 組み合わせの表現に対応!! 

LINEのメッセージオブジェクト  テキストメッセージ  画像/動画/音声メッセージ  位置情報メッセージ  スタンプメッセージ  テンプレートメッセージ (ボタンテンプレート)  テンプレートメッセージ (確認テンプレート)  テンプレートメッセージ (カルーセルテンプレート) 

デモ デモ 

現状の課題 仕様面：  ユーザが友達申請してくれるような魅力あるアプリ仕様を策 定する.  問い合わせで対応する範囲が決まっていない. 技術面：  金魚種類判定の際にAutoML Visionからのレスポンスが遅い.  応答で表示する情報について, 最新情報をどのように取得す るか?  GCE ⇒ Cloud Functionsに移行すべきか? 

今後やってくこと  Kingo AI Naviアプリの仕様明確化と開発  イベントで収集した金魚画像データの活用  金魚関連情報の収集と活用 Kingo AI Navi実現プロジェクト 

17 Thank You!