Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
Search
Makoto Koike
August 14, 2023
Technology
0
710
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
2023/08/13 Unagi.py勉強会 LT資料
Makoto Koike
August 14, 2023
Tweet
Share
More Decks by Makoto Koike
See All by Makoto Koike
Pythonではじめる農業ロボット開発
koike91
0
1.7k
Pythonで不均衡で一貫性のないデータセットを少しだけマシにする話
koike91
1
2.3k
Other Decks in Technology
See All in Technology
Core Audio tapを使ったリアルタイム音声処理のお話
yuta0306
0
190
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
7.2k
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
7.8k
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
710
SmartNewsにおける 1000+ノード規模 K8s基盤 でのコスト最適化 – Spot・Gravitonの大規模導入への挑戦
vsanna2
0
140
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
280
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
520
How Do I Contact HP Printer Support? [Full 2025 Guide for U.S. Businesses]
harrry1211
0
120
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
3
7.7k
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
7
5.3k
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
A designer walks into a library…
pauljervisheath
207
24k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
BBQ
matthewcrist
89
9.7k
4 Signs Your Business is Dying
shpigford
184
22k
Become a Pro
speakerdeck
PRO
29
5.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Facilitating Awesome Meetings
lara
54
6.4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目
Makoto Koike
お前誰よ 名前:小池 誠 • 崖っぷち大学生(来年卒業できるかな・・・) • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア
◦ 農業 • 何にPython使ってるの? ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど <最近はメロンの研究やってます> <自動水やり装置作ってます>
今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 •
色々便利そうな予感
基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル(Foundation Model)」と命名された 参照: Bommasani,R., Hudson,D., et
al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) <基盤モデルの例> • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
Segmentation Anything Model(SAM) • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み
• Apatch License 2.0で公開
SAMの仕組み 入力:画像 出力:セグメンテーションマ スク + スコア 入力:プロンプト <pretrained ViT> <PE/CLIP>
<Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
使ってみよう 1.Install pip install git+https://github.com/facebookresearch/segment-anything.git 2.model checkpointのダウンロード 3.Getting Started from
segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照:https://github.com/facebookresearch/segment-anything
結果
SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra
ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
SAM-PT DEMO
まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る!