Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / YurufuwaML vol.6
Search
you(@youtoy)
PRO
April 08, 2021
Technology
1
4.6k
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / YurufuwaML vol.6
you(@youtoy)
PRO
April 08, 2021
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
UIFlow 2.0 で MQTT をやってみた! / IoTLT vol.108
you
PRO
0
1.5k
UIFlow 2.0 と ATOMS3 の組み合わせで LINE通知を試す / ビジュアルプログラミングIoTLT vol.16
you
PRO
0
120
技術コミュニティの中での生成AI(自身の観測範囲での事例について) / 23 Xmas Talk / 20231209
you
PRO
0
1.4k
AI・機械学習ライブラリを使ったWebアプリでワクワク体験! / Qiita Night~AI、機械学習 / 20231201
you
PRO
2
2k
p5.js・p5playを使った体験イベントに参加した子達が手を動かすこと・考えることを楽しんでくれた話 / p5.js勉強会(第九回) / 20231126
you
PRO
0
46
LINEでのコミュニケーションにマスコットキーホルダーを使ってみる / LINEを使ったLT大会 #5
you
PRO
0
2.3k
イベントで大活躍の電子ペーパー名札 〜M5PaperとUIFlow+α〜 / #ヒーローズリーグ 2023 予選 in 第二部
you
PRO
0
84
ハッカソンでWebの技術を使った作品を作ってみた 〜ブラウザで機械学習やデバイス制御など〜 / HTML5 9th Anniversary
you
PRO
0
100
M5Stack Core2とUIFlowの「リモコン+」でお手軽IoT(仕組みをシンプルに試してみた) / IoTLT vol.102
you
PRO
0
3.9k
Other Decks in Technology
See All in Technology
実録_マルチテナント環境でのGmailガイドライン対応
ryuichi1208
7
1.5k
App Runnerでパラメーターストアの値を使ってみた
miura55
0
230
履歴データテーブルとの向き合い方_PHPerKaigi2024
gennei
25
6.7k
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
0
1.1k
MLOpsのエッセンスを取り⼊れて評価 pipelineを再構築している件
sansantech
PRO
1
230
OCI Data Science Service 製品概要
oracle4engineer
PRO
0
110
調整さんの調整結果をカレンダーへ登録するGPTsを作った話
hrsano645
1
160
GitHub Actions Runner Controller
takesection
0
110
技育祭2024春 LT Finatextホールディングス
kevinrobot34
1
120
Command-line interface tool design / PHPerKaigi 2024
k1low
4
1k
出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 「【速報】AWSの生成AIサービスであるAmazon Bedrock がリリースされたので朝イチで触ってみた」について語る
oshanqq
0
290
ISUCON入門以前_ISUNARABE_LT#1
sadnessojisan
13
2.5k
Featured
See All Featured
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
178
11k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
225
51k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
240
1.2M
Raft: Consensus for Rubyists
vanstee
130
6.2k
A designer walks into a library…
pauljervisheath
199
23k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2k
4 Signs Your Business is Dying
shpigford
174
21k
Fashionably flexible responsive web design (full day workshop)
malarkey
397
65k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
How GitHub (no longer) Works
holman
301
140k
Fantastic passwords and where to find them - at NoRuKo
philnash
35
2.4k
Transcript
Google Colabを転移学習・モデル変換に 使ったりAPIサーバーで使おうとした話 2021年4月8日 (木) ゆるふわマシンラーニング vol.6 豊田 陽介 (
@youtoy )
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものを たくさん購入 してる気がする ビジュアルプログラミング・IoT 関連など主催、運営・登壇も ガジェット好き その他
IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動
過去のコミュニティ活動中 での機械学習関連の話 (学習を含むもの)
Maker Faire出展で使った音の機械学習 https://www.youtube.com/watch?v=Ve6TyzzmXck Googleさんの Teachable Machine の音を対象にした機械学習を利用 (+Web Bluetooth API
)
「小さい子でも分かる・ 楽しめる」を機械学習で実現
機械学習が使われた仕組み を活用した話
ブラウザ上で両手を認識(+矩形描画) Googleさんの MediaPipe Hands のサンプルに少し矩形の描画処理 を追加してみたもの
ブラウザ上で両手を認識(+3D描画など) Googleさんの MediaPipe Hands と p5.js による 3D描画や画像の 透過表示
某アニメの悪役の「とっておきの手品」 Googleさんの MediaPipe Hands と p5.js による画像の透過表示
学習に関しては主に Teachable Machine 後の活用事例のほうは TensorFlow.js
一方、今回の主役は Google Colab や TensorFlow Lite など
タイトルに書いていた 「転移学習・モデル変換・ APIサーバー」の話へ
None
「TensorFlow Lite Model Maker」が便利! 1)Google Colabでの転移学習 モバイル向けなどの「TensorFlow Lite」の転移学習を簡単に 行える仕組み(コードもすごくシンプル)
簡単に転移学習!(画像分類の例) 1)公式チュートリアルを Google Colab で開く 2)Google Colab にデータセットをアップ 3)データ読み込み処理の記載を少し変更 4)Google
Colab上でボタンをポチポチ ※ 公式のデータセットを使うなら 2・3 は不要
TensorFlow Lite はスマホ用公式サンプルがある 機械学習モデルを作った後は
【余談】 TensorFlow Lite の 公式サンプルを 流用してみた事例
Teachable Machineとの組み合わせ 機械学習モデルを「TensorFlow Lite(量子化済み)」で出力 画面の下に認識結果や確信度の 表示が出てくる(動的に変化)
モデルの出力の部分 TensorFlow Lite > 量子化済み を選択
転移学習がクラウド上 での処理のみで完了!
次は「モデル変換:Core ML Tools(Lobe)」の話
とある事情により、初心者向けの「機械学習による 画像分類 + 独自データセットによる転移学習 + iPhone上での推論実行」をあれこれ探してた 先ほどの話をやり始めた背景 そんな中、Microsoftさんの Lobe のスタータープロジェクト
の話を(ニュースレターより)
とりあえず、 iPhoneで実機ビルド
ふと思った ⇒ Lobe のサンプルのモデルを Lobe 以外で作ったものにできるかな? 2)Core ML Toolsでモデル変換 【確認したり調べたり】
・Lobe のスタータープロジェクトのモデルは Core MLっぽい ・Core ML Tools という機械学習モデルをCore ML の形式に 変換する Pythonパッケージがあるっぽい ・Python ってことは、Colab上で使えたりするかも?
ちなみに、Core ML Tools の ページはこれ
再度Teachable Machineとの組み合わせ 画面の下の結果表示は、 TensorFlow Lite のサンプル とは違ってる
機械学習モデルの変換関連で行ったこと 1)Teachable Machine のサイト上での学習 2)モデルを TensorFlow > Keras で出力 3)Google
Colab上にモデルをアップロード 4)Google Colab上に Core ML Tools を インストールし変換プログラムを書く 5)変換後のモデルをゲット!
モデルの出力・変換処理の一部
転移学習・モデル変換が クラウド上での処理のみで!
最後は「APIサーバ」の話 ※ 道半ばの部分
ふと思った ⇒ Google Colab を APIサーバー的に 使う方法はないか? 3)Google ColabでAPIサーバー 結果:
▲▲ 73% ... 結果: •• 85% ... 画像を受け取り、 推論結果を返す
ngrok + Webフレームワーク(Flask/FastAPI) で外部からのアクセス等ができた! 外部からアクセス可能なサーバーにできる?
【余談】Colab上でNode.jsも動いた
外部から画像を受け取るところまではできた 外部から POST で送った画像を Colab側で保存・表示 あとは推論の処理をうまく 組み込めれば!?
長期間の連続稼働は仕組み的に ダメですが、ちょっとしたテスト・ デモ用にあると面白そうかな
終わり!