ReverseGeo AIで画像から場所を特定する

Transcript

1. ReverseGeo AIで画像から場所を特定する ザワッチ(@zawattizawawa) AIサービス開発者の会 #1 2025/07/29 1
2. 目次 1. 自己紹介 2. ReverseGeoとは？ 3. デモ 4. 技術スタック 5. Gemini APIの活用方法 6. ユースケース 7. 今後の展望 8. AIをアプリ・サービスに組み込むときの考え方 9. まとめ 2
3. 自己紹介 ザワッチ 株式会社ノベルワークス AIソリューション事業部 エンジニア LLM・Azureに興味がある クロスフィット・RustでOSを作ることにハマっている 3
4. ReverseGeoとは？ 画像から場所（座標）を特定するAIアプリ 主な機能 画像アップロード/カメラ撮影から位置情報を推 定 複数のAI分析モードで精度向上 インタラクティブな3Dマップ表示 パフォーマンス 解析時間: 2-5秒 精度: 観光地・ランドマークで高精度 4
5. 処理フロー 1. 画像入力 → カメラ撮影 or アップロード 2. Gemini APIを使用したAI分析 → 画像内容の分析 3. 座標特定 → 緯度・経度の決定 4. 2D/3Dマップ表示 → マップ上のピンで確認 精度向上の工夫 複数の情報源を組み合わせ 信頼度スコアの算出 5
6. デモ 6
7. 0:00 / 1:03 7
8. 技術スタック フロントエンド Next.js + TypeScript Material-UI (MUI) + Tailwind CSS Google Maps JavaScript API (3D対応) バックエンド/AI Google Gemini 2.5 Flash API Google Cloud Vision API 8
9. Google Web Groundingの流れ 🧠 判断 検索の必要性 → 🔍 生成 検索クエリ → 🌐 検索 Web情報収集 → 📝 合成 最終回答生成 9
10. Google Web Grounding 対応モデル Google検索によるグラウンディングは、Gemini 2.5 Pro、2.5 Flash、2.0 Flash、1.5 Pro、1.5 Flashの各モデルでサポート 参考: Google Gemini API - Google Search 10
11. Gemini APIの活用方法 11
12. ①標準分析 const model = genAI.getGenerativeModel({ model: "gemini-2.5-flash" }) const result = await model.generateContent( [prompt, imagePart] // ← マルチモーダル推論 ) シンプルな推論で2-3秒、最小限のトークン使用 12
13. ②高精度解析 const model = genAI.getGenerativeModel({ model: "gemini-2.5-flash", tools: [{ googleSearch: {} }] // ← function_callingで設定する }) const result = await model.generateContent([ prompt, imagePart ]) 複数情報源から検証し、曖昧な場所も特定可能。しかし、10秒ほどかかる GeminiがWeb検索もしない可能性もある 13
14. ③類似画像検索 Google Cloud Vision API + Geminiで類似画像検索と詳細分析 const [result] = await visionClient.webDetection({ image: { content: Buffer.from(image, 'base64') } }) const model = genAI.getGenerativeModel({ model: "gemini-2.5-flash" }) const enhanced = await model.generateContent([ promptWithVisionData, imagePart ]) 14
15. ユースケース 旅行写真の整理： 撮影場所の自動タグ付け 不動産： 物件写真から正確な位置特定 観光案内： ランドマーク情報の提供 教育： 地理学習の補助ツール 15
16. 今後の展望 座標を特定する仕組みをさらにエージェンティックにする 確度に応じて次に選択する行動を自律的に決定させる エッジ推論 ネットワーク依存からの脱却 Googleが最近出したgemma-3n-E2Bに熱視線 16
17. AIをアプリ・サービスに組み込むときの考え方 17
18. モデルの進化に応じてアプリ・サービスの質も向上していく設計 AIの進化は不可逆性 モデルの進化 → できないことができる → 新機能 18
19. LLMの入出力データのポリシー Azureでは... Azure OpenAI Servicesに悪用していないかを監視する仕組みがある Azure OpenAI サービスのデータ、プライバシー、セキュリティ → Azure OpenAI Service 基盤モデルのトレーニング、再トレーニング、または 改善には使用されない きちんとドキュメント・利用規約を確認する必要がある 19
20. マルチエージェントよりもシングルエージェント 難しい点： エージェント間のトランザクション管理が複雑 エージェント間の接続数の増加により、処理が落ちることもある エージェントの呼び出しの最大数見極め → シングルエージェント＋コンテキストエンジニアリングで頑張る 20
21. まとめ Google Gemini APIを使って高精度な画像分析アプリが作れる エッジ推論に期待 もう少しユースケースが出てくるまではシングルエージェントで頑張る 21
22. Thank you! ReverseGeo - AIで画像から場所を特定する 22