Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / YurufuwaML vol.6
Search
you(@youtoy)
PRO
April 08, 2021
Technology
1
4.9k
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / YurufuwaML vol.6
you(@youtoy)
PRO
April 08, 2021
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
170
WebHID API で Joy-Con・DUALSHOCK 4 のセンサーをブラウザから利用する / IoTLT vol.109
you
PRO
0
120
UIFlow 2.0 で MQTT をやってみた! / IoTLT vol.108
you
PRO
0
1.7k
UIFlow 2.0 と ATOMS3 の組み合わせで LINE通知を試す / ビジュアルプログラミングIoTLT vol.16
you
PRO
0
180
技術コミュニティの中での生成AI(自身の観測範囲での事例について) / 23 Xmas Talk / 20231209
you
PRO
0
1.4k
AI・機械学習ライブラリを使ったWebアプリでワクワク体験! / Qiita Night~AI、機械学習 / 20231201
you
PRO
2
2.1k
p5.js・p5playを使った体験イベントに参加した子達が手を動かすこと・考えることを楽しんでくれた話 / p5.js勉強会(第九回) / 20231126
you
PRO
0
57
LINEでのコミュニケーションにマスコットキーホルダーを使ってみる / LINEを使ったLT大会 #5
you
PRO
0
2.3k
イベントで大活躍の電子ペーパー名札 〜M5PaperとUIFlow+α〜 / #ヒーローズリーグ 2023 予選 in 第二部
you
PRO
0
100
Other Decks in Technology
See All in Technology
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
20
5.2k
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
910
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
120
令和最新版 Ruby プロファイラ "Pf2" のご紹介
osyoyu
0
130
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
410
認知症フレンドリーテックとスタックチャン
naokiuc
0
280
【基本】データベース設計
oracle4engineer
PRO
2
200
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.6k
Cloud Service Mesh に触れ合う
phaya72
1
240
Max out Local LLM in Challenging Environments
sashimimochi
1
120
web-application-security
matsuihidetoshi
1
190
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな(2024年版)
infiniteloop_inc
5
18k
Featured
See All Featured
The Mythical Team-Month
searls
217
42k
How to name files
jennybc
65
93k
Faster Mobile Websites
deanohume
300
30k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
Design by the Numbers
sachag
274
18k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
22
1.4k
The Invisible Customer
myddelton
114
12k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
[RailsConf 2023] Rails as a piece of cake
palkan
28
4k
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
34
6k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
358
22k
Transcript
Google Colabを転移学習・モデル変換に 使ったりAPIサーバーで使おうとした話 2021年4月8日 (木) ゆるふわマシンラーニング vol.6 豊田 陽介 (
@youtoy )
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものを たくさん購入 してる気がする ビジュアルプログラミング・IoT 関連など主催、運営・登壇も ガジェット好き その他
IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動
過去のコミュニティ活動中 での機械学習関連の話 (学習を含むもの)
Maker Faire出展で使った音の機械学習 https://www.youtube.com/watch?v=Ve6TyzzmXck Googleさんの Teachable Machine の音を対象にした機械学習を利用 (+Web Bluetooth API
)
「小さい子でも分かる・ 楽しめる」を機械学習で実現
機械学習が使われた仕組み を活用した話
ブラウザ上で両手を認識(+矩形描画) Googleさんの MediaPipe Hands のサンプルに少し矩形の描画処理 を追加してみたもの
ブラウザ上で両手を認識(+3D描画など) Googleさんの MediaPipe Hands と p5.js による 3D描画や画像の 透過表示
某アニメの悪役の「とっておきの手品」 Googleさんの MediaPipe Hands と p5.js による画像の透過表示
学習に関しては主に Teachable Machine 後の活用事例のほうは TensorFlow.js
一方、今回の主役は Google Colab や TensorFlow Lite など
タイトルに書いていた 「転移学習・モデル変換・ APIサーバー」の話へ
None
「TensorFlow Lite Model Maker」が便利! 1)Google Colabでの転移学習 モバイル向けなどの「TensorFlow Lite」の転移学習を簡単に 行える仕組み(コードもすごくシンプル)
簡単に転移学習!(画像分類の例) 1)公式チュートリアルを Google Colab で開く 2)Google Colab にデータセットをアップ 3)データ読み込み処理の記載を少し変更 4)Google
Colab上でボタンをポチポチ ※ 公式のデータセットを使うなら 2・3 は不要
TensorFlow Lite はスマホ用公式サンプルがある 機械学習モデルを作った後は
【余談】 TensorFlow Lite の 公式サンプルを 流用してみた事例
Teachable Machineとの組み合わせ 機械学習モデルを「TensorFlow Lite(量子化済み)」で出力 画面の下に認識結果や確信度の 表示が出てくる(動的に変化)
モデルの出力の部分 TensorFlow Lite > 量子化済み を選択
転移学習がクラウド上 での処理のみで完了!
次は「モデル変換:Core ML Tools(Lobe)」の話
とある事情により、初心者向けの「機械学習による 画像分類 + 独自データセットによる転移学習 + iPhone上での推論実行」をあれこれ探してた 先ほどの話をやり始めた背景 そんな中、Microsoftさんの Lobe のスタータープロジェクト
の話を(ニュースレターより)
とりあえず、 iPhoneで実機ビルド
ふと思った ⇒ Lobe のサンプルのモデルを Lobe 以外で作ったものにできるかな? 2)Core ML Toolsでモデル変換 【確認したり調べたり】
・Lobe のスタータープロジェクトのモデルは Core MLっぽい ・Core ML Tools という機械学習モデルをCore ML の形式に 変換する Pythonパッケージがあるっぽい ・Python ってことは、Colab上で使えたりするかも?
ちなみに、Core ML Tools の ページはこれ
再度Teachable Machineとの組み合わせ 画面の下の結果表示は、 TensorFlow Lite のサンプル とは違ってる
機械学習モデルの変換関連で行ったこと 1)Teachable Machine のサイト上での学習 2)モデルを TensorFlow > Keras で出力 3)Google
Colab上にモデルをアップロード 4)Google Colab上に Core ML Tools を インストールし変換プログラムを書く 5)変換後のモデルをゲット!
モデルの出力・変換処理の一部
転移学習・モデル変換が クラウド上での処理のみで!
最後は「APIサーバ」の話 ※ 道半ばの部分
ふと思った ⇒ Google Colab を APIサーバー的に 使う方法はないか? 3)Google ColabでAPIサーバー 結果:
▲▲ 73% ... 結果: •• 85% ... 画像を受け取り、 推論結果を返す
ngrok + Webフレームワーク(Flask/FastAPI) で外部からのアクセス等ができた! 外部からアクセス可能なサーバーにできる?
【余談】Colab上でNode.jsも動いた
外部から画像を受け取るところまではできた 外部から POST で送った画像を Colab側で保存・表示 あとは推論の処理をうまく 組み込めれば!?
長期間の連続稼働は仕組み的に ダメですが、ちょっとしたテスト・ デモ用にあると面白そうかな
終わり!