VLMで2.3万枚のPyCon JP写真を検索！

Embed

Start on current slide

Slide 1

Slide 1 text

「PyCon JP 2026」 2026年8月21日 VLMで2.3万枚 PyCon JP写真を検索！ – 無料クラウド枠で実用的なマルチモーダル＆顔認識検索システムを構築した裏側 – Python Asia Organization Founder and Board member / PSF Fellow 株式会社CMSコミュニケーションズ代表取締役寺田学 (Manabu TERADA) copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 2

Slide 2 text

自己紹介寺田学 (Manabu TERADA) ● Pythonエンジニア -> ベクトル検索研究家 ● Podcast 「terapyon channel」(https://podcast.terapyon.net) ● 主な関連書籍（共著・監修・監訳） ○ Python実践レシピ改訂新版 (技術評論社: 2026年3月) ○ Pythonによるあたらしいデータ分析 ○ Pythonデータ分析実践ハンドブック (インプレス: 2023年9月) ○ スラスラわかる Python第2版（翔泳社:2021年11月） ○ 機械学習図鑑（翔泳社 : 2019年4月） copyright © 2026 CMS Comunications Inc. all rights reserved. 教科書第 3版（翔泳社:2025年5月）

Slide 3

Slide 3 text

主な役職寺田学 (Manabu TERADA) PyCon JP 2026シルバースポンサー株式会社 CMSコミュニケーションズ代表取締役 ● Python Asia Organization Founder and Board member ● Python Software Foundation (PSF) Fellow ● 一般社団法人Pythonエンジニア育成推進協会顧問理事 ● 国立大学法人一橋大学社会学研究科元客員准教授(2022) ● 元 PyCon JP Association理事 ● NVDA日本語チーム理事 copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

トーク補助ベクトル検索と ● 理解を助ける薄い本【なぜ「意味」でさがすか】 ○ 本日、無料配布します。 2026年4月・5月ベクトル検索記事 ● Pythonによるベクトル検索基礎と実践: https://gihyo.jp/article/2026/04/monthly-python-2604 ● Pythonマルチモーダル検索とANN: https://gihyo.jp/article/2026/05/monthly-python-2605 copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

PyCon JP 写真を検索 ● 画像共有サイト(Flickr)にある約23,000枚写真 ○ https://www.ﬂickr.com/photos/pyconjp/albums ○ ライセンス自由に使える (CC-BY PyCon JP) ● テキスト文字列で検索できないか？ copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 10

Slide 10 text

Slide 11

Slide 11 text

PyCon JP Image Search 機能 ● 自然言語で画像を検索 ○ アノテーション文字列を検索していない（VLM利用） ● 画像から似た画像を抽出 ● 顔認識し同一人物を検索 ● イベント（開催年）などフィルタリング ● PyCon JP運営/主催メンバーみ利用可能イベント広報やあ copyright © 2026 CMS Comunications Inc. all rights reserved. 時に写真にたどり着く

Slide 12

Slide 12 text

Slide 13

Slide 13 text

PyCon JP Image Search 規模 ● 利用者: 10人程度に想定(アカウント ● 画像数: 約23,000枚 ● 顔認識: 約70,000個 100程度) 小規模なシステムアプリコード公開済み (実験コードも含めて) https://github.com/pyconjp/pyconjp-image-search copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Firebase Hosting無料枠 ● 利用者が少なけれ問題ない ● 大きなファイルダウンロードをすると無料枠を超える ○ ベクトルをDuckDBなどで配布することができない ○ （DuckDB WASMで NG） ● 料金プラン ○ ストレージ: 10 GB ○ データ転送: 360 MB/日 ○ https://ﬁrebase.google.com/pricing?hl=ja copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 19

Slide 19 text

Firebase Firestore無料枠 ● クエリ単位で課金 ● ベクトル永続化が可能 ● 料金プラン ○ Stored data: 1 GiB total ○ ドキュメント読み取り: 50K reads/day ○ https://ﬁrebase.google.com/pricing?hl=ja copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 20

Slide 20 text

Slide 21

Slide 21 text

利用技術ホスティング Firebase Hosting Embeddingモデル Google Siglip 2 データベース Firestore 近似近傍検索(ANN) 独自工夫+Firestore 認証 Firebase Authentication データ整形 / ベクトル化 Python / CUDA copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

顔認識及び Embedding (モデル選定 ) ● InsightFaceフレームワーク活用 ● 十分な機能、認識力、ベクトル表現 ● ArcFaceを使った https://github.com/cmscom/image-vector-poc/blob/main/notebooks/51-face-detection-insightface.ipynb ● ● ● ● InsightFace (buffalo_l) で顔検出・Embedding抽出・属性推定が正常動作各カテゴリ顔検出特性を把握 ArcFace 512次元 Embedding 正規化済み (ノルム ≈ 1.0) 同一人物 (terada) Embedding 高いコサイン類似度を示す copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Embedding をどこでやるか ? (リソース ) ● ● ● ● 画像が増えない（アップロード機能なし）ローカルGPUでEmbeddingし、parquetで管理メタデータなどを含めてDuckDBを活用クエリ時が課題としてどリソースを使うか? ○ ブラウザでEmbeddingできないか? copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 31

Slide 31 text

ブラウザで Embedding ● Transformers.js 活用 ● ONNXモデル存在確認 ○ onnx-community/siglip2-base-patch16-224-ONNX ● PythonでPyTorch ベクトルと同じになるか? ● 両モデル(画像検索用と顔画像用)で問題ないことを確認 ○ OpenAI CLIP ・・日本語がちょっと良くなかった ○ Google SigLIP ・・ONNXでNG ○ Google SigLIP 2 (google/siglip2-base-patch16-224 768次元) copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 32

Slide 32 text

ブラウザで Embedding VLM 確認別プロジェクトで検証: https://github.com/cmscom/image-vector-poc/blob/main/notebooks/31-js-setup-and-embedding.ipynb https://github.com/cmscom/image-vector-poc/blob/main/notebooks/64-siglip2-js-embedding.ipynb SigLIP 2 fp32 ● ● Python-JS 類似度 0.924 で SigLIP 1 (0.906) より高い PIL (Python) と Sharp (JS) 画像前処理差異があっても、0.924 高い類似度 CLIP-L (0.872) よりも大幅に高い互換性 → SigLIP 2 Python で事前計算、JS で検索というユースケースに適している …. SigLIP 1 と速度差 ● 小さい Python GPU (4.2 img/s) と比較しても差 copyright © 2026 CMS Comunications Inc. all rights reserved. 小さく、Node.js でも十分実用的

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

FirestoreでkNN 費用 ● コストが気になる・・・ ○ 1回検索コストがベクトル数 1 / 100 reads ○ 70Kベクトルあると、 70K / 100 -> 700 reads ○ 1日無料枠 50K reads ○ つまり、約71回検索で1日分を消費 ○ (プラス実データ) copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 37

Slide 37 text

Firestoreで独自 ANN ● IVF / Voronoi分割をして、事前枝刈りできないか? ○ 1/10程度にすれコストも1/10になる ● 事前学習した256分割セントロイド点を作る ● Firestoreに、ベクトル毎に2個を点(ID)をアサインする ● ブラウザでクエリベクトルセントロイド所属 ID取得 ● 上位5までクエリベクトルセントロイドIDとOR検索 copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

ANNとDB 関係 ● ベクトルDBに、ANN 機能が付いている ● HNSW / IVF系などがある ● Firestore 専用ベクトルDBでないで少量にしか使えない ○ 工夫をすることである程度データ量まで対応できた ○ IVF 考え方別 DBへ応用、超大規模10億件(1B)とかに応用可能 copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

トーク後ディスカッション ● 同様に画像検索や顔認識をやってみたいという人と話して、公開コードを見ながらポイントを示したい ● VLMモデル選定方法や実際に行ったPoC前事前検証方法を、別途個人で公開しているNotebookを元に紹介やディスカッションしたい ● ベクトル検索詳しい人とベクトル近似最近傍検索現状と課題について、無料枠で限界など苦労話をしたい copyright © 2026 CMS Comunications Inc. all rights reserved.

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

リファレンス ● ● ● ● ● ● GitHub コード: https://github.com/pyconjp/pyconjp-image-search GitHub PoC: https://github.com/cmscom/image-vector-poc 記事: https://gihyo.jp/article/2026/04/monthly-python-2604 記事: https://gihyo.jp/article/2026/05/monthly-python-2605 ベクトル診断アプリ: https://vectorcheckup.cmscom.jp/ 相談窓口: https://vector.cmscom.jp copyright © 2026 CMS Comunications Inc. all rights reserved.