Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
Search
Makoto Koike
August 14, 2023
Technology
0
750
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
2023/08/13 Unagi.py勉強会 LT資料
Makoto Koike
August 14, 2023
Tweet
Share
More Decks by Makoto Koike
See All by Makoto Koike
Pythonではじめる農業ロボット開発
koike91
0
1.7k
Pythonで不均衡で一貫性のないデータセットを少しだけマシにする話
koike91
1
2.3k
Other Decks in Technology
See All in Technology
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
1
130
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
930
能登半島地震で見えた災害対応の課題と組織変革の重要性
ditccsugii
0
910
OAuthからOIDCへ ― 認可の仕組みが認証に拡張されるまで
yamatai1212
0
110
フレームワークを意識させないワークショップづくり
keigosuda
0
180
カンファレンスに託児サポートがあるということ / Having Childcare Support at Conferences
nobu09
1
570
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
3.4k
セキュアな認可付きリモートMCPサーバーをAWSマネージドサービスでつくろう! / Let's build an OAuth protected remote MCP server based on AWS managed services
kaminashi
3
320
アイテムレビュー機能導入からの学びと改善
zozotech
PRO
0
150
『OCI で学ぶクラウドネイティブ 実践 × 理論ガイド』 書籍概要
oracle4engineer
PRO
3
220
ニッポンの人に知ってもらいたいGISスポット
sakaik
0
140
React19.2のuseEffectEventを追う
maguroalternative
0
210
Featured
See All Featured
Designing for Performance
lara
610
69k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Agile that works and the tools we love
rasmusluckow
331
21k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Designing Experiences People Love
moore
142
24k
Fireside Chat
paigeccino
40
3.7k
A better future with KSS
kneath
239
18k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Visualization
eitanlees
149
16k
The World Runs on Bad Software
bkeepers
PRO
72
11k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Docker and Python
trallard
46
3.6k
Transcript
Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目
Makoto Koike
お前誰よ 名前:小池 誠 • 崖っぷち大学生(来年卒業できるかな・・・) • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア
◦ 農業 • 何にPython使ってるの? ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど <最近はメロンの研究やってます> <自動水やり装置作ってます>
今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 •
色々便利そうな予感
基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル(Foundation Model)」と命名された 参照: Bommasani,R., Hudson,D., et
al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) <基盤モデルの例> • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
Segmentation Anything Model(SAM) • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み
• Apatch License 2.0で公開
SAMの仕組み 入力:画像 出力:セグメンテーションマ スク + スコア 入力:プロンプト <pretrained ViT> <PE/CLIP>
<Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
使ってみよう 1.Install pip install git+https://github.com/facebookresearch/segment-anything.git 2.model checkpointのダウンロード 3.Getting Started from
segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照:https://github.com/facebookresearch/segment-anything
結果
SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra
ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
SAM-PT DEMO
まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る!