Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
Search
Makoto Koike
August 14, 2023
Technology
0
740
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
2023/08/13 Unagi.py勉強会 LT資料
Makoto Koike
August 14, 2023
Tweet
Share
More Decks by Makoto Koike
See All by Makoto Koike
Pythonではじめる農業ロボット開発
koike91
0
1.7k
Pythonで不均衡で一貫性のないデータセットを少しだけマシにする話
koike91
1
2.3k
Other Decks in Technology
See All in Technology
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1k
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
1
240
20250903_1つのAWSアカウントに複数システムがある環境におけるアクセス制御をABACで実現.pdf
yhana
3
550
【実演版】カンファレンス登壇者・スタッフにこそ知ってほしいマイクの使い方 / 大吉祥寺.pm 2025
arthur1
1
830
Webブラウザ向け動画配信プレイヤーの 大規模リプレイスから得た知見と学び
yud0uhu
0
230
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
170
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
280
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
320
Practical Agentic AI in Software Engineering
uzyn
0
110
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
10
3.1k
roppongirb_20250911
igaiga
1
220
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.7k
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
173
14k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
Balancing Empowerment & Direction
lara
3
620
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Designing for humans not robots
tammielis
253
25k
Become a Pro
speakerdeck
PRO
29
5.5k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Practical Orchestrator
shlominoach
190
11k
Scaling GitHub
holman
463
140k
Transcript
Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目
Makoto Koike
お前誰よ 名前:小池 誠 • 崖っぷち大学生(来年卒業できるかな・・・) • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア
◦ 農業 • 何にPython使ってるの? ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど <最近はメロンの研究やってます> <自動水やり装置作ってます>
今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 •
色々便利そうな予感
基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル(Foundation Model)」と命名された 参照: Bommasani,R., Hudson,D., et
al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) <基盤モデルの例> • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
Segmentation Anything Model(SAM) • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み
• Apatch License 2.0で公開
SAMの仕組み 入力:画像 出力:セグメンテーションマ スク + スコア 入力:プロンプト <pretrained ViT> <PE/CLIP>
<Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
使ってみよう 1.Install pip install git+https://github.com/facebookresearch/segment-anything.git 2.model checkpointのダウンロード 3.Getting Started from
segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照:https://github.com/facebookresearch/segment-anything
結果
SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra
ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
SAM-PT DEMO
まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る!