Deep Dive into Momento with LangChain

もめんと Meet-up in June #2

Transcript

1. Deep Dive into Momento with LangChain もめんと Meet-up in June #2 kzk_maeda
2. Kazuki Maeda @kzk_maeda SRE @atama plus AWS Community Builders AWS Startup Community Core Member 7+ years of experience of AWS Like: 　Lambda / Step Functions / Glue / MWAA / Athena 　最近はGoogle CloudとLLM系を勉強中 自己紹介
3. agenda Momento with LangChainを触ってみる Momento with LangChainのコードを追ってみる 今後の期待
4. agenda Momento with LangChainを触ってみる Momento with LangChainのコードを追ってみる 今後の期待
5. Momento Cacheとは • Serverless Cache Service • Web上でセットアップして、SDKを埋め込むだけで クラスターセットアップなど不要で利用開始できる • キャパシティの管理、プロビジョニング、パフォーマンスモニタリングなど オペレーション業務からの解放
6. LangChainとは • LLM（大規模言語モデル）を利用したアプリケーション開発に利用できる ライブラリ • 各種LLM APIの抽象化、独自データのLoader、ツール群の組み合わせなどの 様々な機能が提供されている • バージョンアップ頻度が異常
7. なぜLangChainとMomento？ https://twitter.com/LangChainAI/status/1662138670332395520?s=20
8. なぜLangChainとMomento？ https://python.langchain.com/docs/ecosystem/integrations/momento
9. なぜLangChainとMomento？ https://www.gomomento.com/blog/momento-is-now-fully-integrated-into-the-langchain-ecosystem
10. LangChainでMomentoが使える場所 • LLM Cache • Conversation Memory
11. LLM Cache 通常LangChainでは、都度OpenAIなどのLLMサービスとやりとりをしますが
12. LLM Cache Cacheが効いていると、InterceptしてCacheからResponseを返します
13. LLM Cache 実装 数行のコードで実装可能
14. LLM Cache クエリ時間比較 同一のPromptであれば実行時間を90%以上低減
15. LLM Cache Token消費量比較 CacheがAnswerを返すのでOpenAIのToken消費量は0
16. LLM Cache 時間もコストも削減が見込める！！
17. Conversation Memory 通常、LangChainからLLMへのRequestは状態を持たないので独立実行 →以前の会話内容をLangChainは記憶しない
18. Conversation Memory ConversationChainのMemoryとしてMomentoを活用し、会話の流れを作れる
19. Conversation Memory 実装 こちらもシンプルなコードで実装可能
20. agenda Momento with LangChainを触ってみる Momento with LangChainのコードを追ってみる 今後の期待
21. 注 ここからLangChainのコードを眺めていきますが、 冒頭で紹介したように、LangChainの更新頻度は異常です。 以降のコードは version 0.0.207 のものとなっております。 また、説明の都合でコードの一部のみ抜粋して表示します。
22. LLM Cache 中で何が行われているのか追ってみましょう
23. LLM Cache llm_cache が有効であるとcacheに問い合わせる機構が LLMの基底クラスに定義されている
24. LLM Cache PromptとLLMのparameterをhash化して str castしたtextをKeyにして、Momentoに格納
25. LLM Cache こんな感じでCacheが衝突しないようになっている
26. Conversation Memory 中で何か行われているのか追ってみましょう
27. Conversation Memory ConversationChainの中でmemoryをセットできる
28. Conversation Memory デフォルトで message_store: 文字列をprefixに付与して session_id を追加したtextをKeyにしている
29. Conversation Memory plain textをKeyのprefixに追加することで、 CacheのKey（hash化された文字列）との衝突を 抑制している？？という推測（中の人教えてください）
30. ここまで追ってみて • ライブラリを利用する側はシンプルに使えるようにいろんな処理が抽象化されてい る一方、実装側では衝突を防ぐための仕組みが入っていたりと工夫されていること がわかった • 実際にデバッグしてCache Keyを特定してコンソールから確認することができ、楽し かった
31. agenda Momento with LangChainを触ってみる Momento with LangChainのコードを追ってみる 今後の期待
32. 今後の期待 • Cache機構の拡大 ◦ （LangChainの対応が必要かもしれませんが） Embeddingの生成など、他にもTokenを利用し、時 間がかかる処理があるので、そこでも Cacheが効かせられると嬉しいなと思った • Vector Storeとしての利用 ◦ 時限式で消えるVector Storeという用途がLLMアプリケーションの中ではそこそこ求められるケース がありそう ◦ Vector Storeが消えていたら新規に Embedding生成してStoreすることでデータ鮮度を高く保つとか ◦ Momentoでそれが実現できると管理が楽で嬉しいなと思った
33. 今後の期待 • 特にVector Storeとして使えると、こういう仕組みを作る時に使い勝手が 非常にいい（気がします）
34. Thank you