SIGIR2024（Best Short Paper Award, Honorable Mention） MeMemo: On-device Retrieval Augmentation for Private and Personalized Text Generation Zijie J. Wang and Duen Horng Chau （ Georgia Institute of Technology , Atlanta, Georgia, USA） 株式会社電通総研 X(クロス)イノベーション本部 テクノロジー＆イノベーションユニット AIトランスフォーメーションセンター 村本 直樹 IR Reading 2024 秋

2 この論文の貢献は？ （RAGのための） クライアントサイドで完結する データ保存・近似最近傍探索※ツールを開発 ※Hierarchical Navigable Small World

一般的なRAGシステム 知識拡張のためのデータ保存・検索の仕組みはサーバサイドにある RAGシステム（サーバサイド） Step1：質問内容に関連する 文書の取得 関連 文書 質問内容 クライアントサイド Step2：LLMモデルによる 回答生成 知識の拡張 回答 リクエスト

4 一般的なRAGシステムにおける課題 ▍データプライバシーの課題 秘匿性の高いデータはサーバサイドに置くにあたって制限が多い （クラウドサービスなどであればリージョンの制限など） ▍ユーザの利用しやすさと技術的なハードル ⚫ DBや検索基盤を構築するまでのハードルが高い ⚫ クラウドなどを活用する方法もあるがクライアントサイドで完結させたい ⚫ 限られたリソースとなるクライアントサイドでのデータ検索には、 データ管理や検索処理の工夫が必要

クライアントサイド MeMemoが実現したこと HNSWによる文書検索の仕組みを データ管理も含めクライアントサイドで完結させた IndexedDBに ベクトルなどを保存 質問内容 LlamaやPhiなどの ローカルで動くLLM 回答 RAMでキーと HNSWグラフを保持 関連 文書 エンベディング GTE-Smallなど HNSWによる検索 LLMやエンベディング部分は サーバサイドにすることも可能

6 用語の軽い説明 ▍Hierarchical Navigable Small World（HNSW） ⚫ 高次元空間での近似最近傍探索を高速に行うことを目的とするアルゴリズム ⚫ グラフベースのアプローチで、複数の階層（レベル）にわたるリンクを 利用して効率的に探索を行う ⚫ ANN検索で最もよく使われるアルゴリズムの1つ ▍IndexedDB ⚫ ブラウザ内で利用でき、データの永続化可能なオブジェクト指向DB ⚫ オフライン環境でデータの読み書きが可能 ⚫ ストレージの上限やデータの破棄基準はブラウザに依存 ⚫ データ操作は非同期で行われ、トランザクションを使って整合性を保つ

7 クライアントサイドで実現するメリット ▍プライバシー問題の解決 クライアントでデータを保持するため、 外部サーバーにデータを送信する必要がなくなる ▍アクセス性 ブラウザで動作するため、PCやモバイルデバイスを含め、 IoTデバイス上での利用も可能になる ▍インタラクティブ性 外部との通信が発生せず、よりリアルタイムのデータ検索や プロトタイピングが可能になる

8 サンプルアプリケーションも提供されている GitHub - poloclub/mememo: A JavaScript library that brings vector search and RAG to your browser! githubから飛べるサンプル環境は検索がうまく使えないので、 ローカルに落としてちょっと手を加えて触ってみました…

9 実際にローカル環境で触ってみた※動画のためPDFでは見られません… ドキュメント数が少ない点を 考慮しないといけないがかなり早い印象 384次元、1000件のドキュメントに対し 1秒程度で検索

10 Indexed DBにドキュメント情報などを保存 ▍サンプルアプリケーションにて確認 開発者ツールにてIndexedDBに保存されているドキュメントを確認できる 各文書に対応するベクトル 各文書の中身

11 まとめ（個人的な感想） ▍エージェントなどLLMの活用の幅は広がっているが、 RAGの仕組みはよく使われており、気軽に試せるところがGood ⚫ DBや全文検索エンジンなどを裏側で持つのは実装、運用コスト的にも難しい ⚫ 外部との通信に関する問題がない点が気楽でよい ▍クライアント側の環境に大きく依存するので、 アプリケーションとして提供する場合は考慮事項が多い ⚫ エンベディングはバッチ処理的にしないとどうしても時間がかかるので、 大規模に保存する場合は事前に用意するほうが良い （論文上で説明されている内容では）公式64GBのRAMを持つMacBook上でChromeを使用し、 384次元ベクトルで100万ドキュメントをインデックス化するのに約94分を要する ⚫ 当然サーバサイドに比べると容量や計算資源の問題から制約が多い （ドキュメントやベクトル次元数の上限等）