CosmosDBのベクトル検索をご紹介

第一回JAZUG Shizuokaのイベントにて登壇した内容です。
https://jazug.connpass.com/event/336487/

Transcript

1. 1 Microsoft Ignite 2024にてGA！ Azure CosmosDBのベクトル検索をご紹介
2. 自己紹介
3. 自己紹介 佐藤 陽 / Sato Akira サイオステクノロジー株式会社 Professional Service SL in 静岡県浜松市 仕事 Azureクラウド構築 生成AIを活用したアプリ開発 ブログ執筆 / 外部登壇 趣味 運動(ロードバイク/ランニング) 音楽(FUJI ROCK FESTIVAL) 読書(森博嗣/有栖川有栖) 3 @satodayo1115
4. 自己紹介 4 「RAGアプリケーション 評価・改善の極意」連載中 YoutubeにてAzureに関する情報を発信中 「ツール・ド・Azure」
5. 今日のテーマ 5 AI界隈でAzure CosmosDBが熱い！！
6. Azure CosmosDB 6 • グローバル分散 • ミリ秒のレイテンシ保障 • 自動および即時のスケーラビリティ
7. Azure Cosmos DB 7 Microsoft Ignite2024にてベクトル検索機能がGA
8. ベクトル検索とは？
9. ベクトル値 9 「向き」と「大きさ」を持つ X Y 𝑥 𝑦 x y
10. ベクトル値 10 −0.01532 −0.02434 −0.05363 … … 0.012392 ベクトル化 「静岡県浜松市」 ベクトル化 −0.01327 −0.02464 −0.05343 … … 0.012422 Embeddings
11. ベクトル値 11 "dog", "cat", "pet", "animal", "puppy", "kitten", "keyboard", "mouse", "monitor", "computer", "laptop", "desktop"
12. ベクトル検索 12 ⚫ 似たような単語は近いベクトル値を持つ ⚫ ベクトルの距離の近さに基づき検索を行う ⚫ 完全一致しなくとも検索可能 ⚫ RAG(Retrieval-Augmented Generation) のシステムなどでよく活用される
13. CosmosDBでベクトル検索
14. ベクトル検索 14 静岡の観光地をテーマにベクトル検索やってみる
15. データの格納 15 観光地 概要 富士山 世界文化遺産に登録された、標高3,776メートルの日本一高い象徴的存在の山。 四季を通じて登山や観光で多くの人が訪れ、山頂からの日の出は特に有名。 伊豆半島 地中海のような青い海と豊富な自然が魅力的なリゾート地。温泉や海水浴、ダイビ ングなどのマリンスポーツが楽しめる。また、伊豆七島を望む絶景ポイントも多数存在 する。 三島スカイウォーク 日本最長の歩行者専用吊り橋で、全長400メートル。橋の上からは富士山や駿河 湾の壮大な景色を一望でき、特に晴れた日には絶景が広がる。 熱海温泉 江戸時代から続く歴史ある温泉地。海辺に多くの旅館が立ち並び、海を眺めながら の露天風呂が楽しめる。また、芸術作品や熱海の花火大会も観光の大きな魅力の 一つ。 日本平 静岡市内からロープウェイでアクセス可能な展望公園。富士山や駿河湾の大パノラマ を背景に、季節ごとの花々が美しい。 静岡県立美術館 静岡市内に位置し、地元出身の画家、レオナール・フジタの作品を中心に展示。また、 世界的に著名な画家の作品も常設展示され、アートファンには見逃せないスポット。 清水エスパルスドリームプラザ 清水区にある大型のショッピングモールで、レストラン、ショップ、映画館、水族館などが 集まる。家族連れで一日中楽しめる。 浜松城公園 浜松市にある城址公園で、徳川家康ゆかりの地。春には桜が咲き誇り、多くの花見 客で賑わう。城内には歴史資料館もあり、歴史好きにはたまらない。 久能山東照宮 富士山の麓、久能山の山頂に鎮座する神社で、徳川家康を祀っている。豪華絢爛 な彫刻や装飾が施された建物は国宝に指定されており、日本の伝統美を感じさせる。 沼津港深海水族館 沼津港に隣接する水族館で、深海に生息する珍しい生き物たちを展示。普段はな かなか見ることのできない深海生物の神秘的な世界を体験できる。 −0.01532 −0.02434 −0.05363 … … 0.012392
16. データの格納 16 観光地 概要 富士山 世界文化遺産に登録された、標高3,776メートルの日本一高い象徴的存在の山。 四季を通じて登山や観光で多くの人が訪れ、山頂からの日の出は特に有名。 伊豆半島 地中海のような青い海と豊富な自然が魅力的なリゾート地。温泉や海水浴、ダイビ ングなどのマリンスポーツが楽しめる。また、伊豆七島を望む絶景ポイントも多数存在 する。 三島スカイウォーク 日本最長の歩行者専用吊り橋で、全長400メートル。橋の上からは富士山や駿河 湾の壮大な景色を一望でき、特に晴れた日には絶景が広がる。 熱海温泉 江戸時代から続く歴史ある温泉地。海辺に多くの旅館が立ち並び、海を眺めながら の露天風呂が楽しめる。また、芸術作品や熱海の花火大会も観光の大きな魅力の 一つ。 日本平 静岡市内からロープウェイでアクセス可能な展望公園。富士山や駿河湾の大パノラマ を背景に、季節ごとの花々が美しい。 静岡県立美術館 静岡市内に位置し、地元出身の画家、レオナール・フジタの作品を中心に展示。また、 世界的に著名な画家の作品も常設展示され、アートファンには見逃せないスポット。 清水エスパルスドリームプラザ 清水区にある大型のショッピングモールで、レストラン、ショップ、映画館、水族館などが 集まる。家族連れで一日中楽しめる。 浜松城公園 浜松市にある城址公園で、徳川家康ゆかりの地。春には桜が咲き誇り、多くの花見 客で賑わう。城内には歴史資料館もあり、歴史好きにはたまらない。 久能山東照宮 富士山の麓、久能山の山頂に鎮座する神社で、徳川家康を祀っている。豪華絢爛 な彫刻や装飾が施された建物は国宝に指定されており、日本の伝統美を感じさせる。 沼津港深海水族館 沼津港に隣接する水族館で、深海に生息する珍しい生き物たちを展示。普段はな かなか見ることのできない深海生物の神秘的な世界を体験できる。 −0.01532 −0.02434 −0.05363 … … 0.012392
17. ベクトル検索 17 −0.01532 −0.02434 −0.05363 … … 0.012392 「景色が良い所は？」 SELECT TOP 10 c.content, VectorDistance( c.contentVector, [-0.01532,…,0.012392] ) AS SimilarityScore FROM c ORDER BY VectorDistance(c.contentVector, [-0.01532,…,0.012392])
18. ベクトル検索 18 「景色が良い所は？」 SELECT TOP 10 c.content, VectorDistance( //ベクトルの距離を測る関数(コサイン類似度測定) c.contentVector, //格納されたデータのベクトル値 [-0.01532,…,0.012392] // 質問文(景色がいい所は？)のベクトル値 ) AS SimilarityScore FROM c ORDER BY VectorDistance(c.contentVector, [-0.01532,…,0.012392]) −0.01532 −0.02434 −0.05363 … … 0.012392
19. 検索結果 19 [ { "content": "日本平 - 静岡市内からロープウェイでアク…, "SimilarityScore": 0.511552646202893 }, { "content": "伊豆半島 - 地中海のような青い海と豊富…", "SimilarityScore": 0.40618819079111135 }, { "content": "熱海温泉 - 江戸時代から続く歴史ある温泉…", "SimilarityScore": 0.3847607821989405 }, { "content": "浜松城公園 - 浜松市にある城址公園で…", "SimilarityScore": 0.36726404245564426 },
20. ベクトル検索 20 観光地 概要 Score 日本平 静岡市内からロープウェイでアクセス可能な展望公園。富士山や駿河湾の大パノラマを背景に、季節ごとの 花々が美しい。 0.5115 伊豆半島 地中海のような青い海と豊富な自然が魅力的なリゾート地。温泉や海水浴、ダイビングなどのマリンスポーツ が楽しめる。また、伊豆七島を望む絶景ポイントも多数存在する。 0.4061 熱海温泉 江戸時代から続く歴史ある温泉地。海辺に多くの旅館が立ち並び、海を眺めながらの露天風呂が楽しめる。 また、芸術作品や熱海の花火大会も観光の大きな魅力の一つ。 0.3847 浜松城公園 浜松市にある城址公園で、徳川家康ゆかりの地。春には桜が咲き誇り、多くの花見客で賑わう。城内には 歴史資料館もあり、歴史好きにはたまらない。 0.3672 三島スカイウォーク 日本最長の歩行者専用吊り橋で、全長400メートル。橋の上からは富士山や駿河湾の壮大な景色を一 望でき、特に晴れた日には絶景が広がる。 0.3627 久能山東照宮 富士山の麓、久能山の山頂に鎮座する神社で、徳川家康を祀っている。豪華絢爛な彫刻や装飾が施さ れた建物は国宝に指定されており、日本の伝統美を感じさせる。 0.3626 富士山 世界文化遺産に登録された、標高3,776メートルの日本一高い象徴的存在の山。四季を通じて登山や 観光で多くの人が訪れ、山頂からの日の出は特に有名。 0.3232 静岡県立美術館 静岡市内に位置し、地元出身の画家、レオナール・フジタの作品を中心に展示。また、世界的に著名な画 家の作品も常設展示され、アートファンには見逃せないスポット。 0.3185 清水エスパルスドリームプラザ 清水区にある大型のショッピングモールで、レストラン、ショップ、映画館、水族館などが集まる。家族連れで 一日中楽しめる。 0.2790 沼津港深海水族館 沼津港に隣接する水族館で、深海に生息する珍しい生き物たちを展示。普段はなかなか見ることのできな い深海生物の神秘的な世界を体験できる。 0.1783 Q:「景色が良い所は？」
21. ベクトル検索 21 観光地 概要 Score 日本平 静岡市内からロープウェイでアクセス可能な展望公園。富士山や駿河湾の大パノラマを背景に、季節ごとの 花々が美しい。 0.5115 伊豆半島 地中海のような青い海と豊富な自然が魅力的なリゾート地。温泉や海水浴、ダイビングなどのマリンスポーツ が楽しめる。また、伊豆七島を望む絶景ポイントも多数存在する。 0.4061 熱海温泉 江戸時代から続く歴史ある温泉地。海辺に多くの旅館が立ち並び、海を眺めながらの露天風呂が楽しめる。 また、芸術作品や熱海の花火大会も観光の大きな魅力の一つ。 0.3847 浜松城公園 浜松市にある城址公園で、徳川家康ゆかりの地。春には桜が咲き誇り、多くの花見客で賑わう。城内には 歴史資料館もあり、歴史好きにはたまらない。 0.3672 三島スカイウォーク 日本最長の歩行者専用吊り橋で、全長400メートル。橋の上からは富士山や駿河湾の壮大な景色を一 望でき、特に晴れた日には絶景が広がる。 0.3627 久能山東照宮 富士山の麓、久能山の山頂に鎮座する神社で、徳川家康を祀っている。豪華絢爛な彫刻や装飾が施さ れた建物は国宝に指定されており、日本の伝統美を感じさせる。 0.3626 富士山 世界文化遺産に登録された、標高3,776メートルの日本一高い象徴的存在の山。四季を通じて登山や 観光で多くの人が訪れ、山頂からの日の出は特に有名。 0.3232 静岡県立美術館 静岡市内に位置し、地元出身の画家、レオナール・フジタの作品を中心に展示。また、世界的に著名な画 家の作品も常設展示され、アートファンには見逃せないスポット。 0.3185 清水エスパルスドリームプラザ 清水区にある大型のショッピングモールで、レストラン、ショップ、映画館、水族館などが集まる。家族連れで 一日中楽しめる。 0.2790 沼津港深海水族館 沼津港に隣接する水族館で、深海に生息する珍しい生き物たちを展示。普段はなかなか見ることのできな い深海生物の神秘的な世界を体験できる。 0.1783 「景色が良い」といった直接的なワードが無いにもかかわらず 景色がよさそうな観光地が上位にランキングされている ↓ 意味的な関連を考慮して検索できている Q:「景色が良い所は？」
22. ベクトル検索のメリット 22 1. あいまいなワードでも高精度な検索が可能 2. 文字だけでなく音声や画像での検索も可能
23. まとめ
24. まとめ 24 1. 生成AI関連の開発でベクトル検索が注目されている！ 2. CosmosDBの本来の強み＋ベクトル検索→強力！ 3. ベクトル検索機能がGAされ本番環境でも安心して利用できる 4. 更なる検索精度向上が見込めるハイブリッド検索も 現在Public Preview CosmosDBが今熱い！！
25. ご清聴 ありがとうございました