Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
first step of ML Kit
Search
Yuki Anzai
August 01, 2018
Technology
0
2.5k
first step of ML Kit
Yuki Anzai
August 01, 2018
Tweet
Share
More Decks by Yuki Anzai
See All by Yuki Anzai
個人アプリ開発 (メンテナンス) 14年の歴史 / My personal app development history
yanzm
1
690
Material 3 やめました / Good-bye M3 design system
yanzm
4
5.9k
Compose Multiplatform で Bluesky のクライアント作ってみた / Bluesky client with Compose Multiplatform
yanzm
0
470
Compose Transition Animation
yanzm
3
670
Material3 with Jetpack Compose
yanzm
3
3.4k
Jetpack Compose 1.2 新機能 / new features of Jetpack Compose 1.2
yanzm
0
410
Now in Android アプリ解説 / Now in Android App
yanzm
1
1.7k
キャッチアップ Android 13 / Catch up Android 13
yanzm
2
2.2k
(Android アプリ開発の)その書き方古いかも。/ Devfest Tokyo 2021
yanzm
3
4.6k
Other Decks in Technology
See All in Technology
**強い**エンジニアのなり方 - フィードバックサイクルを勝ち取る / grow one day each day
soudai
61
18k
Databricks におけるデータエンジニアリング
databricksjapan
0
380
自動生成を活用した、運用保守コストを抑える Error/Alert/Runbook の一元集約管理 / Centralized management of Error/Alert/Runbook to minimize operational costs using automated code generation
biwashi
9
2.1k
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.6k
Discord とビルダー&チャットボットの使い方 / How to use Discord and Builder & Chatbots
ks91
PRO
0
130
o11y入門_外形監視を利用したWebアプリケーションへの最適なモニタリング_TechBrew
k5k
3
100
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
340
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
2
320
入社後初めてのタスクでk8sアップグレードした話.pdf
kkato1
1
380
ChatGPT for IT Service Management (IT Pro)
dahatake
3
220
TransitGatewayの基礎
toru_kubota
0
230
カオナビの利用実績をアウトカムへつなげる旅 / example-of-data-management-startup-in-kaonavi
kaonavi
0
120
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
422
63k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
76
41k
What the flash - Photography Introduction
edds
64
11k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
10 Git Anti Patterns You Should be Aware of
lemiorhan
646
57k
We Have a Design System, Now What?
morganepeng
42
6.7k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
Facilitating Awesome Meetings
lara
41
5.6k
Transcript
ML Kit の概要と Base API Yuki Anzai @yanzm Google Developers
Expert for Android
ML Kit とは • Firebase の機能の⼀つ • 機械学習を利⽤する機能をアプリに簡単に組み込むためのモバイル SDK •
現在は β • iOS と Android で使える • https://firebase.google.com/docs/ml-kit/
on-device or in the cloud On-device Cloud Text recognition :
テキスト認識 O O Face detection : 顔検出 O - Barcode scanning : バーコードスキャン O - Image labeling : 画像のラベル付け O O Landmark recognition : ランドマーク認識 - O Custom model inference : カスタムモデル推論 O -
on-device vs Cloud • on-device API • ローカルで動作、速い • Firebase
が機械学習のモデルをあらかじめダウンロードしてくれる • Cloud API • サーバーで処理、⾼機能 • ネットワーク接続が必要
Pricing https://firebase.google.com/pricing/ your account's first 1000 Cloud Vision API calls/month
are free
• Features • 画像からテキストを認識 • on-device API • 無料 •
全てのラテン⽂字を認識 • Cloud API • 毎⽉最初の 1000 API call は無料(1000+ からは従量課⾦) • 50 をこえる⾔語を認識(⽇本語含む) Text recognition (OCR) : テキスト認識
None
None
• Features • on-device API のみ • 顔の領域、ランドマーク(⽬・頬・⿐・⽿・⼝)の位置認識 • 顔の表情(⽬の開閉度合い、笑顔の度合い)の認識
• 動画のフレーム間で同じ顔をトラック可能 • 100以上の点から構成される2次元の輪郭情報(顔の外郭・⽬・眉・⿐・⼝) Face detection : 顔検出
Face contour https://firebase.google.com/docs/ml-kit/detect-faces
• Features • on-device API のみ • ほとんどの標準フォーマットをサポート • 1次元フォーマット
: Codabar, Code 39, Code 93, Code 128, EAN-8, EAN-13, ITF, UPC-A, UPC-E • 2次元フォーマット : Aztec, Data Matrix, PDF417, QR Code • ⾃動フォーマット検出 • structured data の取り出し • バーコードの向きによらず検出可能 Barcode scanning : バーコードスキャン
format : 256 valueType : 9 rawValue : WIFI:S:SB1Guest;P:12345;T:WEP;; displayValue
: SB1Guest 12345 boundingBox : Rect(300, 457 - 669, 824) encryptionType : 3 ssid : SB1Guest password : 12345
• Features • 画像の内容を解析し、認識したもののラベルをつける : ⼈、物、場所、活動など • on-device API •
無料 • 400+ labels をサポート • Cloud API • 毎⽉最初の 1000 API call は無料(1000+ からは従量課⾦) • 10,000+ labels をサポート Image labeling : 画像のラベル付け
label : Building confidence : 0.77894384 entityId : /m/0cgh4 label
: Palace confidence : 0.75397676 entityId : /m/05zp8 label : landmark confidence : 0.9432406 entityId : /m/05_5t0l label : town confidence : 0.9333225 entityId : /m/0dx1j
label : Food confidence : 0.9649049 entityId : /m/02wbm label
: Cuisine confidence : 0.91778296 entityId : /m/01ykh label : food confidence : 0.9399401 entityId : /m/02wbm label : cuisine confidence : 0.9263104 entityId : /m/01ykh
val options = FirebaseVisionLabelDetectorOptions .Builder() .setConfidenceThreshold(0.9f) .build()
• Features • 画像から有名なランドマークを認識 • ランドマーク名 • 地理座標 • Knowledge
Graph entity ID • 画像内でのランドマークの領域 • 毎⽉最初の 1000 API call は無料(1000+ からは従量課⾦) Landmark detection : ランドマーク認識
landmark : Amsterdam Centraal Railway Station confidence : 0.86155003 entityId
: /m/0bbw52 locations : 52.378068, 4.899774 boundingBox : Rect(33, 504 - 956, 928) landmark : Amsterdam confidence : 0.5167069 entityId : /m/0k3p locations : 52.373811, 4.890951 boundingBox : Rect(187, 644 - 757, 843)
カスタムモデル推論 • Firebase で TensorFlow Lite のモデルをホスティング • Firebase SDK
がモデルのダウンロードをハンドリング • モデルの更新も可能 • apk にバンドルしたモデルを Firebase SDK 経由で利⽤することも可能 • on-device API として利⽤