AWSエンジニアに捧ぐLangChainの歩き方

Transcript

1. AWSエンジニアに捧ぐ LangChainの歩き⽅
2. 2 ⾃⼰紹介 • 部署 ◦ AWS事業本部コンサルティング部 • ニックネーム ◦ つくぼし • 最近推しているAWSサービス ◦ AWS Infrastructure Composer • SNS/ブログ ◦ X(@tsukuboshi0755) ◦ DevelopersIO(つくぼし)
3. 対象 3 • 普段AWSを触っている⽅ • Bedrockは触ったけどLangChainは触った事がない⽅
4. ⽬次 1. LangChainの概要 2. LangChainで使える主なAWSコンポーネント 3. AWSエンジニアに勧めるLangChainの始め⽅ 4. 最後に 4
5. LangChainの概要
6. LangChainとは • LLMを⽤いたアプリケーションを効率 的に開発するためのOSSフレームワー ク • 公式ではPythonとTypeScriptの2つの ⾔語に対応 • LangChainの他に、LLM監視⽤の LangSmith、エージェントデプロイ⽤ のLangGraphと統合されている 6
7. LangChainの製品スイート 7 参考：https://www.langchain.com/
8. LangChainを「今から」学ぶメリット 8 1. LangChainの書き⽅さえ覚えてしまえば、様々なLLM関連 リソースを共通のフレームワークで呼び出せる 2. LangChainのバージョンがv0.3まで上がった事で、破壊的 変更が少なくなり⼤分安定してきている 3. LLMOpsに便利なエコシステム(LangSmith/Langfuse等)が 充実してきており、使うにはLangChainの習得が必須
9. LLMOpsの画⾯例(LangSmith) 9
10. LangChainで使える主なAWSコンポーネント
11. チャットモデル：ChatBedrock / ChatBedrockConverse • Bedrockテキストモデルを LangChain経由で呼び出すための コンポーネント • Invoke APIを呼び出す ChatBedrockと、Converse APIを 呼び出すChatBedrockConverseが 存在する • 今後Converse APIがChatBedrock にも統合される予定との事 11 # Instantiation from langchain_aws import ChatBedrock llm = ChatBedrock( model_id="anthropic.claude-3-sonnet-20240229-v1:0", model_kwargs=dict(temperature=0), # other params... ) # Invocation messages = [ ( "system", "You are a helpful assistant that translates English to French. Translate the user sentence.", ), ("human", "I love programming."), ] ai_msg = llm.invoke(messages) print(ai_msg.content)
12. リトリーバー：AmazonKnowledgeBasesRetriever • Retrive API(Knowledge Bases)を LangChain経由で呼び出すための コンポーネント • RetriveAndGenerate APIは現時点 で未対応のため、LangChainで実 装する場合は別途チャットモデル と組み合わせる必要あり 12 # Instantiation from langchain_aws.retrievers import AmazonKnowledgeBasesRetriever retriever = AmazonKnowledgeBasesRetriever( knowledge_base_id="PUIJP4EQUA", retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}}, ) # Invocations query = "What did the president say about Ketanji Brown?" retriever.invoke(query)
13. Bedrock API vs LangChain 13 Bedrock API LangChain 呼び出しモデル範囲 Bedrockモデルのみ対応 Bedrock含む様々な生成AIモデ ルに対応 呼び出しリトリーバー範囲 Knowledge Basesのみ対応 Knowledge Bases含む様々なリ トリーバーに対応 破壊的変更頻度 小 小-中程度 公式対応言語 Python/JS(TS)含む様々な言語 に対応 Python/JS(TS)のみ 用途 Amazon Bedrock決め打ちで LLM活用を検討する場合にオス スメ 様々なサービスでLLM活用を比 較検討する場合/LangChainエコ システムを活用したい場合にオス スメ
14. AWSエンジニアに勧めるLangChainの始め⽅
15. AWSエンジニアへのオススメの始め⽅ 15 • 世の中のLangChainのサンプルコードは、主に langchain-openai(OpenAIモデル)を⽤いたものになってい る • これを「langchain-awsに置き換えてコードを動作確認す る」と、効率的に勉強できるのでオススメ
16. Amazon SageMaker Code Editorの利⽤ • SageMaker Studio Code Editorと組み 合わせると、Jupyter Notebookをエ ディタ上で実⾏できるため、素早く検 証が可能 • AWS上にリソースを⽴てるため、アク セスキーも必要なし • ⾃動シャットダウン機能やAmazon Q Developerによるコード補完機能も便利 16
17. Amazon SageMaker Code Editorの例 17
18. dotenvモジュールの使⽤ • SageMaker Code EditorでLangSmith やLangfuseを使⽤する場合、APIキーの 保存⽅法の問題が残る • dotenvモジュールを使⽤して、秘密情 報を管理するのが⼿っ取り早くてオス スメ 18 from dotenv import load_dotenv env_path = os.path.join(os.getcwd(), '.env') if not os.path.exists(env_path): with open(env_path, 'w') as f: f.write('LANGCHAIN_API_KEY=<LANGSMITH APIキーの値 >\n') load_dotenv() print(os.environ["LANGCHAIN_API_KEY"])
19. クロスリージョン推論モデルの使⽤ • Bedrockのスロットリング制限をでき る限り回避するために使⽤可能 • 1つのリージョンのモデルがスロットリ ングした際に、別のリージョンのモデ ルに⾃動的にルーティングする 19 from langchain_core.messages import SystemMessage, HumanMessage from langchain_aws import ChatBedrockConverse model = ChatBedrockConverse( model="apac.anthropic.claude-3-haiku-20240307-v1:0", temperature=0 ) messages = [ SystemMessage("You are a helpful assistant."), HumanMessage("こんにちは！"), ] stream = model.stream(messages) full = next(stream) for chunk in stream: full += chunk full
20. 具体的に何から始めれば良いの？ 20 AIエージェント開発を体系的に学ぶには最適の⼊⾨書「LangChainとLangGraphによるRAG‧AIエージェント［実践］⼊⾨」 \| DevelopersIO
21. 最後に
22. まとめ 22 • 今だからこそLangChainを学ぶメリットは多い！ • Bedrock APIとlangchain-awsを場⾯に応じて使い分ける と良い • LangChainを検証するために便利なAWSサービスが揃って きているのでフル活⽤すると良い
23. 今から⽣成AIを学べば、まだ⽀配されずに間に合うはず...！！！ 23