Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
Search
Makoto Koike
August 14, 2023
Technology
0
380
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
2023/08/13 Unagi.py勉強会 LT資料
Makoto Koike
August 14, 2023
Tweet
Share
More Decks by Makoto Koike
See All by Makoto Koike
Pythonではじめる農業ロボット開発
koike91
0
1.2k
Pythonで不均衡で一貫性のないデータセットを少しだけマシにする話
koike91
1
2k
Other Decks in Technology
See All in Technology
成長をサポートするピープルマネジメントのやり方
sioncojp
8
1k
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
390
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
620
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
280
Next.js に疲れた私は Vue3 に癒やされた
akagire
0
130
require(ESM)とECMAScript仕様
uhyo
4
950
いつか使うかも貯金してたらめちゃめちゃ機能が増えてた話
riyaamemiya
0
610
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
4
37k
web-application-security
matsuihidetoshi
1
190
Cracking the KubeCon CfP
inductor
2
270
AWS学習者向けにAzureの解説スライドを作成した話
handy
3
190
生成AIの変革の時代に、直近1年で直面した課題とその解決策
ktc_wada
0
520
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
320
37k
GitHub's CSS Performance
jonrohan
1025
450k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
How to name files
jennybc
65
93k
The Power of CSS Pseudo Elements
geoffreycrofte
61
5k
How GitHub (no longer) Works
holman
305
140k
Writing Fast Ruby
sferik
622
60k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.2k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
19
6.9k
Transcript
Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目
Makoto Koike
お前誰よ 名前:小池 誠 • 崖っぷち大学生(来年卒業できるかな・・・) • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア
◦ 農業 • 何にPython使ってるの? ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど <最近はメロンの研究やってます> <自動水やり装置作ってます>
今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 •
色々便利そうな予感
基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル(Foundation Model)」と命名された 参照: Bommasani,R., Hudson,D., et
al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) <基盤モデルの例> • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
Segmentation Anything Model(SAM) • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み
• Apatch License 2.0で公開
SAMの仕組み 入力:画像 出力:セグメンテーションマ スク + スコア 入力:プロンプト <pretrained ViT> <PE/CLIP>
<Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
使ってみよう 1.Install pip install git+https://github.com/facebookresearch/segment-anything.git 2.model checkpointのダウンロード 3.Getting Started from
segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照:https://github.com/facebookresearch/segment-anything
結果
SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra
ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
SAM-PT DEMO
まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る!