Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
Search
Makoto Koike
August 14, 2023
Technology
0
750
Meta AIのSegment Anything Model (SAM) が色々便利そうな話
2023/08/13 Unagi.py勉強会 LT資料
Makoto Koike
August 14, 2023
Tweet
Share
More Decks by Makoto Koike
See All by Makoto Koike
Pythonではじめる農業ロボット開発
koike91
0
1.7k
Pythonで不均衡で一貫性のないデータセットを少しだけマシにする話
koike91
1
2.3k
Other Decks in Technology
See All in Technology
スタートアップにおけるこれからの「データ整備」
shomaekawa
2
350
Wasmのエコシステムを使った ツール作成方法
askua
0
120
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
380
Trust as Infrastructure
bcantrill
1
380
プロダクトのコードから見るGoによるデザインパターンの実践 #go_night_talk
bengo4com
1
2.4k
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
140
Large Vision Language Modelを用いた 文書画像データ化作業自動化の検証、運用 / shibuya_AI
sansan_randd
0
130
Adapty_東京AI祭ハッカソン2025ピッチスライド
shinoyamada
0
270
AWS 잘하는 개발자 되기 - AWS 시작하기: 클라우드 개념부터 IAM까지
kimjaewook
0
130
GoでもGUIアプリを作りたい!
kworkdev
PRO
0
130
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
0
100
関係性が駆動するアジャイル──GPTに人格を与えたら、対話を通してふりかえりを習慣化できた話
mhlyc
0
140
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
4 Signs Your Business is Dying
shpigford
185
22k
A Tale of Four Properties
chriscoyier
161
23k
Fireside Chat
paigeccino
40
3.7k
Gamification - CAS2011
davidbonilla
81
5.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Speed Design
sergeychernyshev
32
1.2k
Transcript
Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目
Makoto Koike
お前誰よ 名前:小池 誠 • 崖っぷち大学生(来年卒業できるかな・・・) • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア
◦ 農業 • 何にPython使ってるの? ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど <最近はメロンの研究やってます> <自動水やり装置作ってます>
今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 •
色々便利そうな予感
基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル(Foundation Model)」と命名された 参照: Bommasani,R., Hudson,D., et
al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) <基盤モデルの例> • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
Segmentation Anything Model(SAM) • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み
• Apatch License 2.0で公開
SAMの仕組み 入力:画像 出力:セグメンテーションマ スク + スコア 入力:プロンプト <pretrained ViT> <PE/CLIP>
<Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
使ってみよう 1.Install pip install git+https://github.com/facebookresearch/segment-anything.git 2.model checkpointのダウンロード 3.Getting Started from
segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照:https://github.com/facebookresearch/segment-anything
結果
SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra
ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
SAM-PT DEMO
まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る!