Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / Y...
Search
you(@youtoy)
PRO
April 08, 2021
Technology
1
6.6k
Google Colabを転移学習・モデル変換に使ったりAPIサーバーで使おうとした話 / YurufuwaML vol.6
you(@youtoy)
PRO
April 08, 2021
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
総額200円の入力インターフェースで年齢問わず楽しめる体験型展示 / エンジニアの自由研究発表会vol.10
you
PRO
0
60
Node−RED で Ollama を使ったローカルLLM(node-red-contrib-ollamaを利用) / ビジュアルプログラミングIoTLT vol.20
you
PRO
0
180
AIエージェント開発や最新の生成AIのAPI利用などJavaScriptで色々やってみる / IoTLT vol.123
you
PRO
0
110
ChatGPT からモックサーバー宛(Beeceptor宛)の HTTPリクエストを試す / IoTLT 202504
you
PRO
0
100
デモをまじえつつの生成AIの話題 / 横須賀プログラミング“夢”アカデミー発表会(2025年3月)
you
PRO
0
53
もくはりでのモノ作りと自身のモノ作り活動 / もくはり文化祭2024 オープン記念イベント
you
PRO
0
57
"かわいい" がテーマのハッカソンでWebの技術を使って魔法の世界を作った話など / HTML5 10th Anniversary
you
PRO
0
110
ブラウザで AI・機械学習が扱える TensorFlow.js が使われているライブラリなどの話 / #さくらのAI Meetup vol.4「ブラウザ」
you
PRO
0
240
Other Decks in Technology
See All in Technology
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
3
9.6k
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
2
160
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
120
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.8k
Claude Code に プロジェクト管理やらせたみた
unson
6
4.5k
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
1.1k
Delegating the chores of authenticating users to Keycloak
ahus1
0
160
Operating Operator
shhnjk
1
610
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
420
ゼロからはじめる採用広報
yutadayo
3
970
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
54
13k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Side Projects
sachag
455
42k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
How GitHub (no longer) Works
holman
314
140k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
GitHub's CSS Performance
jonrohan
1031
460k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Transcript
Google Colabを転移学習・モデル変換に 使ったりAPIサーバーで使おうとした話 2021年4月8日 (木) ゆるふわマシンラーニング vol.6 豊田 陽介 (
@youtoy )
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社の研究所勤務 話題のものを たくさん購入 してる気がする ビジュアルプログラミング・IoT 関連など主催、運営・登壇も ガジェット好き その他
IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) プライベートでの活動
過去のコミュニティ活動中 での機械学習関連の話 (学習を含むもの)
Maker Faire出展で使った音の機械学習 https://www.youtube.com/watch?v=Ve6TyzzmXck Googleさんの Teachable Machine の音を対象にした機械学習を利用 (+Web Bluetooth API
)
「小さい子でも分かる・ 楽しめる」を機械学習で実現
機械学習が使われた仕組み を活用した話
ブラウザ上で両手を認識(+矩形描画) Googleさんの MediaPipe Hands のサンプルに少し矩形の描画処理 を追加してみたもの
ブラウザ上で両手を認識(+3D描画など) Googleさんの MediaPipe Hands と p5.js による 3D描画や画像の 透過表示
某アニメの悪役の「とっておきの手品」 Googleさんの MediaPipe Hands と p5.js による画像の透過表示
学習に関しては主に Teachable Machine 後の活用事例のほうは TensorFlow.js
一方、今回の主役は Google Colab や TensorFlow Lite など
タイトルに書いていた 「転移学習・モデル変換・ APIサーバー」の話へ
None
「TensorFlow Lite Model Maker」が便利! 1)Google Colabでの転移学習 モバイル向けなどの「TensorFlow Lite」の転移学習を簡単に 行える仕組み(コードもすごくシンプル)
簡単に転移学習!(画像分類の例) 1)公式チュートリアルを Google Colab で開く 2)Google Colab にデータセットをアップ 3)データ読み込み処理の記載を少し変更 4)Google
Colab上でボタンをポチポチ ※ 公式のデータセットを使うなら 2・3 は不要
TensorFlow Lite はスマホ用公式サンプルがある 機械学習モデルを作った後は
【余談】 TensorFlow Lite の 公式サンプルを 流用してみた事例
Teachable Machineとの組み合わせ 機械学習モデルを「TensorFlow Lite(量子化済み)」で出力 画面の下に認識結果や確信度の 表示が出てくる(動的に変化)
モデルの出力の部分 TensorFlow Lite > 量子化済み を選択
転移学習がクラウド上 での処理のみで完了!
次は「モデル変換:Core ML Tools(Lobe)」の話
とある事情により、初心者向けの「機械学習による 画像分類 + 独自データセットによる転移学習 + iPhone上での推論実行」をあれこれ探してた 先ほどの話をやり始めた背景 そんな中、Microsoftさんの Lobe のスタータープロジェクト
の話を(ニュースレターより)
とりあえず、 iPhoneで実機ビルド
ふと思った ⇒ Lobe のサンプルのモデルを Lobe 以外で作ったものにできるかな? 2)Core ML Toolsでモデル変換 【確認したり調べたり】
・Lobe のスタータープロジェクトのモデルは Core MLっぽい ・Core ML Tools という機械学習モデルをCore ML の形式に 変換する Pythonパッケージがあるっぽい ・Python ってことは、Colab上で使えたりするかも?
ちなみに、Core ML Tools の ページはこれ
再度Teachable Machineとの組み合わせ 画面の下の結果表示は、 TensorFlow Lite のサンプル とは違ってる
機械学習モデルの変換関連で行ったこと 1)Teachable Machine のサイト上での学習 2)モデルを TensorFlow > Keras で出力 3)Google
Colab上にモデルをアップロード 4)Google Colab上に Core ML Tools を インストールし変換プログラムを書く 5)変換後のモデルをゲット!
モデルの出力・変換処理の一部
転移学習・モデル変換が クラウド上での処理のみで!
最後は「APIサーバ」の話 ※ 道半ばの部分
ふと思った ⇒ Google Colab を APIサーバー的に 使う方法はないか? 3)Google ColabでAPIサーバー 結果:
▲▲ 73% ... 結果: •• 85% ... 画像を受け取り、 推論結果を返す
ngrok + Webフレームワーク(Flask/FastAPI) で外部からのアクセス等ができた! 外部からアクセス可能なサーバーにできる?
【余談】Colab上でNode.jsも動いた
外部から画像を受け取るところまではできた 外部から POST で送った画像を Colab側で保存・表示 あとは推論の処理をうまく 組み込めれば!?
長期間の連続稼働は仕組み的に ダメですが、ちょっとしたテスト・ デモ用にあると面白そうかな
終わり!