「Kingyo AI Navi」アプリ / Kingyo AI Navi App

2023年 5月14日開催の「【滋賀】GCPUG in Shiga #3 ～はじめてのAutoML・BigQuery」のLT資料です.

Transcript

1. GCPUG SHIGA #3 LT 「Kingyo AI Navi」アプリ 2023.5.14 CODE for YAMATOKORIYAMA Moonlight 明日香
2. 今日お話しすること 「Kingyo AI Navi」アプリの紹介と 金魚認識モデルをVertex AIに移行したお話
3. 自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com NARA ➢ 名前：鶴田 彰 ➢ 所属：エア・ウォーター株式会社 ➢ 資格：金魚マイスター(大和郡山市認定) ➢ 主なコミュニティ活動： GCPUG NARA Organizer CODE for YAMATOKORIYAMA
4. 奈良県大和郡山市はどこ? 大和郡山市 京都市内 大阪市内 神戸市内 JR・近鉄（阪神）で 100分 JR・近鉄で 40分 近鉄で50分 草津市 近鉄・JRで80分
5. 金魚の街「大和郡山市」 金魚の水槽やオブジェなどが街中にあふれている. まだまだ金魚をアピールできる余地がある. 2018年 金魚愛[AI]育成プロジェクト発足
6. Kingyo AI Naviとは? 機能1 機能2 金魚の写った画像を投稿すると品種を推定 金魚や大和郡山市の情報にアクセス可能
7. Kingyo AI Naviとは? KCN情報発信スタジオ Kスタ! (2023/2/7) デジタルメッセ奈良
8. UDC 2018 アイデア部門 金賞受賞 トータル金魚ナビゲーション 「Kingyo AI Navi」 UDC 2019 審査員特別賞受賞 Kingyo AI Navi (LINE版) https://urbandata-challenge.jp/
9. システム構成 ⇒ Vertex AI Vision
10. 金魚データセットの準備 22種類 データセット作成 1) データ収集 2) ラベリング 3) Cloud Storageにupload 4) csvファイルでインポート
11. モデル学習
12. モデルのエクスポート □ AutoML Visionでモデルをエクスポート □ Vertex AI Visionではメタデータ形式のモデルに unzip 引用 : https://www.tensorflow.org/lite/models/convert/metadata?hl=ja
13. モデルの読み込み # load dict and model def setup_tflite_recog(): # 辞書(金魚の種類)データの読み込み names = pd.read_csv('./model/dict.txt', header=None) # TFLiteモデルの読み込み interpreter = tf.lite.Interpreter(model_path='./model/model.tflite’) # メモリ確保. モデル読み込み直後に必須 interpreter.allocate_tensors() # 学習モデルの入力層/出力層のプロパティ取得 input_details = interpreter.get_input_details() output_details = interpreter.get_output_details() print('Model loading completed.’) return names, interpreter, input_details, output_details # input_details [{'name': 'image', 'index': 0, 'shape': array([ 1, 224, 224, 3], dtype=int32), 'dtype': <class 'numpy.uint8'>, 'quantization': (0.007874015718698502, 128)}]
14. 推論 def recog_image(img): img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE)) img = img.reshape(1, IMAGE_SIZE, IMAGE_SIZE, 3) input_data = np.array(img, dtype=np.uint8) # input_detals[0][‘index‘]にデータのポインタをセット interpreter.set_tensor(input_details[0]['index'], input_data) # 推論実行 interpreter.invoke() # output_detals[0][‘index’]に推論結果が保存されている output_data = interpreter.get_tensor(output_details[0]['index']) return output_data[0] # 結果 [[ 5 7 8 9 5 8 9 5 10 6 3 5 4 7 3 5 90 4 7 7 6 43]]
15. 動作例： 入力例：
16. Vertex AIについて メリット ・機械学習プログラムや認識アルゴリズムに詳しくなくても, データを準備すれば 簡単にカスタムモデルを作成できる. ・ダッシュボードでラベリングから学習, 評価, テストなどが簡単にできるように 工夫されている. デメリット ・趣味で使うには料金が少し高い. https://cloud.google.com/blog/ja/products/ai-machine-learning/practical-machine-learning-with-automl-series-1
17. 今後やっていきたいこと 現状の課題： ・複数の金魚が泳いでいる水槽で, 金魚が1匹だけ写っている写真 を撮影するのが難しい. ・大和郡山や金魚に関する質問でも, 回答できる質問内容が限られ ている. そこで, ・クラス分類でなくオブジェクト検出を使い, 複数の金魚の種類を 推定できるようにしたい. ・“Bard”または”ChatGPT”を組み込み, 質問に対してより柔軟に 回答できるようにしたい.
18. 最後に、AutoML関連情報 @IT(ITメディア)にて、 「AutoML OSS入門」連載記事共同執筆(全11回) ～ AutoML機能を備えた OSSについて紹介!! • auto-sklearn • TPOT • AutoGluon（Amazon） • H2O（H2O.ai） • PyCaret • AutoKeras • Ludwig（Uber） • Neural Network Intelligence（Microsoft） • Model Search（Google)
19. Thank You!
20. 付録: 大和郡山市の金魚系統図 [大和郡山市HPより]