複数のベクターインデックスを触ってみての感想

Transcript

1. 複数のベクターインデックスを 触ってみての感想 2024.01.18 # StudyCo
2. （C）PharmaX Inc. 2023 All Rights Reserve 2 自己紹介 自己紹介 上野彰大 PharmaX共同創業者・エンジニアリング責任者 好きな料理はオムライスと白湯とコーラ マイブームはLLMとRust Twitter：@ueeeeniki
3. （C）PharmaX Inc. 2023 All Rights Reserve 3 自社でもLLMの勉強会を複数開催 自己紹介
4. （C）PharmaX Inc. 2023 All Rights Reserve 4 デブサミ登壇します！
5. 5 （C）PharmaX Inc. 2023 All Rights Reserve はじめに
6. （C）PharmaX Inc. 2023 All Rights Reserve 6 本発表のスコープや注意事項について はじめに Vector IndexであるPineconeとMomento Vector Indexを使ってみた個人の感想を中心にお話します • あくまでPineconeとMomento Vector Index (MVI) を実際使ってみて、使いやすさなどをどう 感じたかをお伝えするものであり、客観性、公平性には欠けます ◦ ベンチマーク指標などをきちんと取っているわけでもない • 特定のサービスを推す意図はありません • 実際のサービスの選定は、各社の状況を踏まえて各自ご判断いただければと思います
7. （C）PharmaX Inc. 2023 All Rights Reserve 7 前提とする知識 はじめに • LLMの基礎知識は説明しません • 少しでもLLMを使ってアプリケーション開発をされたことがあることが望ましい • 何かしらのVector Indexサービスを使って、RAGを実装したことがあるとイメージは付きやすい と思います LLMのアプリケーション開発の一定の事前知識を仮定します
8. （C）PharmaX Inc. 2023 All Rights Reserve 8 なぜVector Indexサービスが必要なのか はじめに Vector Indexサービスは、ベクトル保存だけではなく、高速な検索アルゴリズムの実装等も提供している • 膨大なドキュメントを高次元ベクトル化して保存し、高速な検索も提供してくれるサービスが多数 • PineconeやMementoを始め、メタデータ検索などの追加機能も実装してくれるサービスもある ◦ ベクトルにメタデータを付与し、そのメタデータでも検索可能 • 今後はマネージド、サーバーレスな Vector Indexサービスも増えていくだろう ◦ 柔軟かつ高速なauto scale、ストレージ量、クエリの計算量に応じた従量課金 ◦ 例えば、キャッシュの実装など、さらなる高速化のための実装も提供してくれるサービスも 今後増えていくだろう
9. （C）PharmaX Inc. 2023 All Rights Reserve 9 Vector Indexを選択する観点 Vector Indexサービスは非常に多く、どれを選べばいいのかが悩ましい • セマンティック検索もサポートされているかどうか ◦ キーワード検索とのハイブリット検索を提供してくれているサービスもある • クラウドインフラまで提供してくれているか ◦ PineconeやMomentoのようなマネージドなサービスも出てきている • オープンソースかどうか ◦ 歴史的には、オープンソースのプロジェクトも多い • 企業としての勢い、資金調達をどの程度行っているか • どのようなベクトル近似度計算アルゴリズム（※後述）をサポートしているか https://note.com/pharmax/n/n0fc5176c3007 はじめに
10. （C）PharmaX Inc. 2023 All Rights Reserve 10 ベクトルの近似度計算アルゴリズム概要 保存されている膨大なベクトル空間から、対象のベクトルと近いベクトルを探し出す必要がある • 近いベクトルを探し出すためのアルゴリズムには下記のようなものがあり、それぞれのアルゴリ ズムによって速度などの特性が異なる ◦ Flat ◦ IVF (Inverted File Index) ◦ Neighbourhood graph & tree ◦ DiskANN ◦ HNSW / RHNSW etc… • Vector Indexサービスによってもサポートしているアルゴリズムが異なるので注意が必要 https://note.com/pharmax/n/n0fc5176c3007
11. 11 （C）PharmaX Inc. 2023 All Rights Reserve Pinecone触ってみた
12. （C）PharmaX Inc. 2023 All Rights Reserve 12 Pineconeとは Vector Indexの有名マネージドサービスの 1つで、特に多くの資金調達をしている
13. （C）PharmaX Inc. 2023 All Rights Reserve 13 Pinecone〜インデックス作成 主要embedding modelのベクトルの次元数を教えてくれるなど、かゆいところに手が届く？
14. （C）PharmaX Inc. 2023 All Rights Reserve 14 Pinecone〜インデックス作成 ベクトルの次元を作成し、 Pod Typeを選ぶ必要がある
15. （C）PharmaX Inc. 2023 All Rights Reserve 15 Pinecone〜Pod選択 P1、P2はパフォーマンスに最適化されており、 S1はストレージに最適化されている Table 2: QPS by pod type and top_k value* Table 1: Estimated number of pods per 1M vectors by dimensionality
16. （C）PharmaX Inc. 2023 All Rights Reserve 16 Pinecone〜index作成 Indexごとにリージョンを選ぶことができ、特に GCPでは、日本リージョンも選択可能
17. （C）PharmaX Inc. 2023 All Rights Reserve 17 Pinecone〜index作成 一方で、AWSとAzureでは、us eastしか選択できないので注意が必要
18. （C）PharmaX Inc. 2023 All Rights Reserve 18 Pinecone〜indexの管理画面 各indexの管理ページも充実しており、管理画面上からも queryを投げたりすることも可能
19. （C）PharmaX Inc. 2023 All Rights Reserve 19 Pinecone所感 • Vector Indexでは、よく聞くサービスなだけあって、管理画面なども見やすく、細かいポイントで も気が効いているように感じる • 一方で、月額固定制、Pod選択制なのは、使い始めるハードルが少しだけあるように感じた ◦ 後ほど紹介するが、1/16にサーバーレス製品が登場したので、この問題は払拭されるか も • メタデータ検索、セマンティック検索とキーワード検索の Hybrid検索がサポートされるなど、 optionalな機能も充実している Vector Indexサービスは、ベクトル保存だけではなく、高速な検索アルゴリズムの実装等も提供している
20. （C）PharmaX Inc. 2023 All Rights Reserve 20 Pineconeにもサーバーレスなサービスが登場 Pineconeにもサーバーレスなサービスが public reviewに
21. （C）PharmaX Inc. 2023 All Rights Reserve 21 Pineconeにもサーバーレスなサービスが登場 これまでのようなPod選択などが不要になった • 読み取り（クエリ）に対する価格が分離されているため、使用していないときに計算リソースの料金を支払 う必要がありません • ストレージを分離した価格設定にすることで、クエリの必要性に関係なく、レコード数に応じた料金を支払う ことができます • 使用量ベースの価格設定により、変動するワークロードや予測不可能なワークロードのコストを削減しま す。ピーク時の容量ではなく、使用した分だけお支払いいただきます • 大幅に効率化されたインデックス作成と検索により、メモリとコンピューティングの消費量が大幅に削減さ れます。その節約分をお客様に還元します • そして最後に、インデックス 1つあたりの最低コストはありません。インデックスが 1つであろうと1万個であろ うと、読み取り、書き込み、ストレージの合計に対してのみお支払いいただきます
22. （C）PharmaX Inc. 2023 All Rights Reserve 22 Pineconeにもサーバーレスなサービスが登場 実際、Pod固定制だとかなり高額なので、多くのケースではサーバーレスが安くなるのではないか
23. （C）PharmaX Inc. 2023 All Rights Reserve 23 Pineconeにもサーバーレスなサービスが登場 Pod作成時にServerlessを選択できるが、現時点では、 AWSのus-westリージョンしか選べない
24. 24 （C）PharmaX Inc. 2023 All Rights Reserve Momento Vector Index触ってみた
25. （C）PharmaX Inc. 2023 All Rights Reserve 25 MVI〜管理画面 Momentoの他のサービスも同じ管理画面上にあり、非常にシンプルで分かりやすい
26. （C）PharmaX Inc. 2023 All Rights Reserve 26 MVI〜index作成 MVIにはプロジェクトという概念はなく、インデックス作成から始まる
27. （C）PharmaX Inc. 2023 All Rights Reserve 27 MVI〜index作成 Pineconeのサーバーレス同様、 AWSでかつ1リージョンしか選べないので注意
28. （C）PharmaX Inc. 2023 All Rights Reserve 28 MVI所感 • momentoの他のサービスを使っている場合、アカウントや管理画面が同一なので、 momentoを使うと良さそう • サーバーレスなので、podサイズなどを選ばされないのがシンプル • 触ってみた感じ、PineconeのPod選択式で日本リージョンを選択した場合が多少速いように感 じたが、単純な比較はできない ◦ Pineconeのサーバーレスはまだ試せていないので比較できていませんが、 Pineconeも コールドスタート問題、スループットだけ考えると pod選択式の方が大きいなどのサーバー レスなりの問題は抱えているようです ◦ 両者とも検索アルゴリズムがどの程度最適化されているのか？などは不明なので、一概 にどちらがいいとは言えない momentoの他のサービス同様、 MVIはシンプルで使い始めやすい
29. （C）PharmaX Inc. 2023 All Rights Reserve 29 PineconeとMVIを触ってみての感想まとめ • 一度使い始めてもそこまでロックインされるわけではないので、 RAGを始めてみたいだけなら、 個人的には最低でもマネージド、できればサーバーレスな製品を選びます ◦ サーバーレスでかつ日本リージョンを選べるようになったら、レイテンシーの観点と個人情 報保存場所の観点で、多少高くてもそちらを選ぶと思います ◦ かなりのスループットを期待するのであれば、サーバーレスでなく、 Pod定額制のサービス も検討の余地がありますが、多くのケースではサーバーレスの方が安いのではないかと推 測します • サーバーレスならPineconeとMVIにそこまで大きな違いはないので、好きな方を使っていただ ければいいかと思います ◦ 使い勝手、SDKの充実、LangChainとの連携、選択できるリージョン等、現時点でそこま で大きな差はない サクッと始めるだけならサーバーレスなサービスを使ってみるのがいいのではないでしょうか？
30. 30 （C）PharmaX Inc. 2022 All Rights Reserve 今後の注目トレンド
31. （C）PharmaX Inc. 2023 All Rights Reserve 31 今後の注目トレンド • 高速・高精度な検索アルゴリズムの出現と各サービスによるサポート ◦ ベクトル類似度計算のアルゴリズムは新しいものがどんどん提案されると思うので、どの程 度最適化されたアルゴリズムを実装できているか • サーバーレスなサービスの増加と低価格化 ◦ 高速かつ柔軟なオートスケール、シーンリソースを固定額で確保するのではなく、ストレージ 量、クエリの計算量に応じた従量課金 ◦ 多くの利用者の獲得による低価格化にも期待 • 世界各地のリージョンに対応 ◦ 現在はまだUSのみ対応のサービスも多い印象なので、日本リージョンを選択できるサービ スの増加に期待 今後の展開 UXにインパクトを与えるような進化に注目している
32. （C）PharmaX Inc. 2023 All Rights Reserve 32 AIサービスとVector Indexサービスの関係 今後の展開 AI VI AI VI AI VI Assistant APIのように高速化のためにもAIのAPIとVIがバインドされる事例も増える？ ？
33. 33 （C）PharmaX Inc. 2023 All Rights Reserve まとめ
34. 34 （C）PharmaX Inc. 2023 All Rights Reserve Apendix
35. （C）PharmaX Inc. 2023 All Rights Reserve 35 「薬局」は医療体験の中でも身近な存在 日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在している ドラックストア 調剤薬局 実現したいこと
36. （C）PharmaX Inc. 2023 All Rights Reserve 36 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業 （漢方メインのOTC医薬品） 未病・予防 治療 薬局DX事業 （医療用医薬品） オンライン薬局サービスを展開している 処方せん不要 処方せん必要
37. （C）PharmaX Inc. 2023 All Rights Reserve 37 LINEから利用できるバーチャルな薬局 最短 即日 ※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」 お薬はお家までお届け LINEで薬剤師にいつでも相談 好きなときにお薬の説明 ※東京23区内のみ PharmaXの プロダクト
38. （C）PharmaX Inc. 2023 All Rights Reserve 38 ソフトウェアに閉じないプロダクト開発 PharmaXの プロダクト開発 独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化 ソフトウェア オペレーション リモート 薬剤師組織 薬局業務を効率化す るオペレーションシス テム（薬局OS） 質の高い患者さま対応 のためのオンライン特 化組織 対人業務の質を高め るための対物業務効 率化 「ソフトウェア×オペレーション×薬剤師組織」を プロダクトとして開発
39. （C）PharmaX Inc. 2023 All Rights Reserve 39 その他 BI インフラストラクチャー フロントエンド バックエンド 技術スタック 開発環境 サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用
40. （C）PharmaX Inc. 2023 All Rights Reserve 40 生成AI/LLMチームの立ち上げ 生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている