Meta AIのSegment Anything Model (SAM) が色々便利そうな話

2023/08/13　Unagi.py勉強会　LT資料

Transcript

1. Meta AIの Segment Anything Model (SAM) が色々便利そうな話 2023/08/13 Unagi.py 勉強会56枚目 Makoto Koike
2. お前誰よ 名前：小池　誠 • 崖っぷち大学生（来年卒業できるかな・・・） • 職業経験 ◦ 組込みエンジニア ◦ 機械学習エンジニア ◦ 農業 • 何にPython使ってるの？ ◦ 電子工作 circuit python, micro python ◦ 機械学習 scikit-learn, tensorflow, pytorch, polarsなど ＜最近はメロンの研究やってます＞ ＜自動水やり装置作ってます＞
3. 今日話すこと • 基盤モデルの登場 • Segment Anything Modelとは • 使い方 • 色々便利そうな予感
4. 基盤モデルの登場 • 大量のデータで学習し様々なタスクに適合可能な大規模モデルが登場した • 2021年スタンフォード大学のWGによって「基盤モデル（Foundation Model）」と命名された 参照: Bommasani,R., Hudson,D., et al: On the Opportunities and Risks of Foundation Models, arxiv, (2021) ＜基盤モデルの例＞ • CLIP • DINO • SAM • BERT • GPT-3/GPT-4 etc…
5. Segmentation Anything Model（SAM） • Meta AIが開発した画像のセグメンテーションのための基盤モデル • https://segment-anything.com/ • 約1100万枚の画像で学習済み • Apatch License 2.0で公開
6. SAMの仕組み 入力：画像 出力：セグメンテーションマ スク + スコア 入力：プロンプト <pretrained ViT> <PE/CLIP> <Transformer decoder+upsampling MLP> セグメンテーション のやり方にはバラ つきがある ⇒ 3つの候補を出力
7. 使ってみよう １．Install pip install git+https://github.com/facebookresearch/segment-anything.git 2．model checkpointのダウンロード 3．Getting Started from segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>") predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>) 詳しくはgithub参照：https://github.com/facebookresearch/segment-anything
8. 結果
9. SAM応用の広がり • 基盤モデルは様々なタスクへの適合が可能 SAM SAM-HQ https://github.com/SysCV/sam-hq https://github.com/facebookrese arch/segment-anything Track-Anything https://github.com/gaomingqi/Tra ck-Anything Track-Anything-HQ https://github.com/jiawen-zhu/HQTrack SAM-Track https://github.com/z-x-yang/Seg ment-and-Track-Anything Video Object Tracking SAM-PT https://github.com/SysCV/sam-pt Various Image segmentation… MedLSAM Anomaly Detecction SAA+ Leaf Only SAM etc…
10. SAM-PT DEMO
11. まとめ • SAMを使うと学習することなく高精度なセグメンテーションが可能 • Video Object Trackingが楽にできる ⇒ 植物の動きの解析が捗る！