ChatGPT APIとLangChainハンズオン会@福岡 投影資料

2024年5月16日(木)にKINTOテクノロジーズ株式会社で実施したイベントの投影資料です。
ハンズオンに関する環境構築などのスライドを除き、技術概要についてのスライドに絞っています。イベントの振り返りや、学んだことの展開などにお役立てください。

【イベントのURL】
https://kinto-technologies.connpass.com/event/315083/

Transcript

1. ChatGPT API とLangChain ハンズオン会 KINTOテクノロジーズ株式会社 データ分析部 和⽥
2. 本⽇のお品書き ChatGPT API RAG🦙 § 概要がなんとなくわかる § とりあえず動かしてみる § ちょっとカスタムしてみる それぞれの… Agent🦜🔗
3. 今⽇はこんな⼈に向けて RAGやAgent、LangChain…聞いたことあるけど どんなことができるの？体験してみたい⼈ ⽣成AIを使った新規サービスや、業務改善が できるシステムを開発したいエンジニア
4. やること・やらないこと Ø やること § 「ChatGPT API」「RAG」「Agent」 § 概要説明 § ハンズオン（サンプルコードを流すだけ） § 少しカスタムしてみる（サンプルコードを編集してみる） Ø やらないこと § 詳細な仕組みの説明 § 技術的背景の説明
5. 今回あつかう領域 LLMをうまく使う⽅法って・・・？ ファインチューニング 学習済モデルを使う モデル単⼀での⼯夫 （プロンプティング/パラメータ設定） 外部知識/ツールの利⽤ （Augmented LM） 本⽇のメインテーマ ファインチューニング気になる⽅向け参考資料 OpenAIがAPI経由のファインチューニングを公開し、 利⽤のハードルは下がっています。 h"ps://note.com/npaka/n/ne4dfd4480ead
6. ファインチューニング 学習済モデルを使う 今回あつかう領域 ゴリラに数学の問題を解かせるとしたら？ モデル単⼀での⼯夫 （プロンプティング/パラメータ設定） 外部知識/ツールの利⽤ （Augmented LM） 計算機を渡してあげる感じ ファインチューニング気になる⽅向け参考資料 OpenAIがAPI経由のファインチューニングを公開し、 利⽤のハードルは下がっています。 h"ps://note.com/npaka/n/ne4dfd4480ead
7. ファインチューニング 学習済モデルを使う 今回あつかう領域 ゴリラに数学の問題を解かせるとしたら？ モデル単⼀での⼯夫 （プロンプティング/パラメータ設定） 外部知識/ツールの利⽤ （Augmented LM） 計算機を渡してあげる感じ 脳をいじる感じ ファインチューニング気になる⽅向け参考資料 OpenAIがAPI経由のファインチューニングを公開し、 利⽤のハードルは下がっています。 h"ps://note.com/npaka/n/ne4dfd4480ead
8. ここで問題！ 「ChatGPT」って何を指す⾔葉？ ① OpenAI社が提供する、AIチャットサービスのこと…💬 ② OpenAI社が開発した、AIモデルのこと…🧠
9. 答え→どちらも正解 「ChatGPT」って何を指す⾔葉？ ① OpenAI社が提供する、AIチャットサービスのこと…💬 ② OpenAI社が開発した、AIモデルのこと…🧠 サービス名 AIモデル名 ChatGPT ChatGPT Microsoft Copilot Prometheus Github Copilot Codex Bard PaLM(Gemini) ややこしさの原因… ChatGPTはサービス名とAIモデル名が同じ 参考 https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan?slide=135
10. LLM関連のOSS サービスとしてのChatGPT OpenAIが提供するAPI 概要説明 ChatGPT モデル UI バック エンド Embedding モデル 画像⽣成 モデル ⽂字起こし モデル LlamaIndex🦙 LangChain 🦜🔗
11. サービスとしてのChatGPT OpenAIが提供するAPI 概要説明 ChatGPT モデル UI バック エンド Embedding モデル 画像⽣成 モデル ⽂字起こし モデル 会話履歴 モデル切替 … etc gpt-3.5-turbo gpt-4 … etc LLM関連のOSS LlamaIndex🦙 LangChain 🦜🔗
12. サービスとしてのChatGPT OpenAIが提供するAPI ChatGPT モデル UI バック エンド Embedding モデル 画像⽣成 モデル ⽂字起こし モデル 会話履歴 モデル切替 … etc gpt-3.5-turbo gpt-4 … etc 概要説明 サービスとしてのChatGPTを使⽤するイメージ
13. サービスとしてのChatGPT OpenAIが提供するAPI UI バック エンド Embedding モデル 画像⽣成 モデル ⽂字起こし モデル 概要説明 ChatGPT APIを使⽤するイメージ ChatGPT モデル
14. サービスとしてのChatGPT OpenAIが提供するAPI UI バック エンド Embedding モデル 画像⽣成 モデル ⽂字起こし モデル LLM関連のOSS LlamaIndex🦙 LangChain 🦜🔗 概要説明 LangChainなどのOSSを使⽤するイメージ ChatGPT モデル
15. 概要説明 ChatGPT API Ø ChatGPTモデルを直接利⽤可能なAPI Ø モデルの選択肢 • GPT-4 • GPT-4V Ø パラメータ • Temperature • top_p • GPT-4 Turbo • GPT-3.5 Turbo • max_tokens • stop • GPT-4o（NEW!）
16. 概要説明 ChatGPT API Ø 各パラメータの役割解説 • Temperature: ⾼くすることで候補トークン採択の多様性が増す。 • top_p: 同じく、⾼くすることで候補トークン採択の多様性が増す。 多様性は欲しいが、あまりに⾮現実的なものを外したい時に調整すると良い。 • max_tokens: 出⼒トークンの上限。ここで制限をかけたからといって、 そのトークン数に収まるように出⼒を調整してくれるわけではない。 • stop: 指定したキーワードが出た時点で出⼒をストップする。 https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan?slide=60
17. 概要説明 RAG Ø RAG(Retrieval Augmented Generation) KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ Retriever KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ KINTOの⽉額には 任意保険、⾞検料⾦ …(中略)が含まれます ⼊⼒ ⼊⼒ ⼊⼒と関連する情報 社内⽂書などの 外部テキスト ⼊⼒で検索 ⼊⼒と関連 する情報 ChatGPT モデル はい。KINTOの⽉額 料⾦には⾞検料⾦が含 まれます。 出⼒ 事前処理として、分割 とベクトル化が必要
18. 概要説明 RAG Ø RAG(Retrieval Augmented Generation) KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ Retriever KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ KINTOの⽉額には 任意保険、⾞検料⾦ …(中略)が含まれます ⼊⼒ ⼊⼒ ⼊⼒と関連する情報 社内⽂書などの 外部テキスト ⼊⼒で検索 ⼊⼒と関連 する情報 ChatGPT モデル はい。KINTOの⽉額 料⾦には⾞検料⾦が含 まれます。 出⼒ 事前処理として、分割 とベクトル化が必要
19. 概要説明 RAG Ø RAG(Retrieval Augmented Generation) サンプルテキストサンプルテキ ストサンプルテキストサンプル テキストサンプルテキストサン プルテキストサンプルテキスト サンプルテキストサンプルテキ ストサンプルテキストサンプル テキストサンプルテキストサン プルテキストサンプルテキスト サンプルテキストサンプルテキ ストサンプルテキストサンプル テキストサンプルテキスト チャンク1 チャンク2 チャンク3 chunk_overlap chunk_size KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ Retriever ⼊⼒ 類似度0.2 類似度0.2 類似度0.8
20. 概要説明 RAG Ø RAG(Retrieval Augmented Generation) KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ Retriever KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ KINTOの⽉額には 任意保険、⾞検料⾦ …(中略)が含まれます ⼊⼒ ⼊⼒ ⼊⼒と関連する情報 社内⽂書などの 外部テキスト ⼊⼒で検索 ⼊⼒と関連 する情報 ChatGPT モデル はい。KINTOの⽉額 料⾦には⾞検料⾦が含 まれます。 出⼒ 事前処理として、分割 とベクトル化が必要
21. 概要説明 RAG Ø RAG(Retrieval Augmented Generation) あなたは優秀なAIアシスタントです。 与えられた情報をもとに、質問に回答してください。 質問: 関連する情報: KINTOの⽉額料⾦に⾞検 料⾦は含まれますか？ KINTOの⽉額には 任意保険、⾞検料⾦ …(中略)が含まれます ChatGPT モデル
22. 概要説明 Agent Ø LangChainは、⾔語モデルを利⽤したアプリ開発フレームワーク • Data-aware:⾔語モデルを他のデータソースに接続する • Agentic:⾔語モデルが環境と相互作⽤できるようにする 多くの機能のうち、LangChainを使⽤して実現できる Tool Augmented LMに着⽬してハンズオンを実施します。 https://python.langchain.com/docs/get_started/introduction
23. 概要説明 Agent Ø Tool Augmented LMのイメージ KINTOテクノロジーズの 設⽴年(⻄暦)を0.15乗し た数値はいくつですか？ ⼊⼒ ChatGPT モデル Agent ツール群 KINTOテクノロジー ズの設⽴年は2021年 で、2021^(0.15)の結 果は約3.13です。 出⼒ Agentが必要なツールを選択し、 段階的に答えに辿り着く web検索[KINTOテクノロジーズ 設⽴年] → 2021年 計算機[2021 ^ (0.15)] → 3.132… Final Answer[] ツールの1つとしてRAGを⽤意することもできる！
24. チャレンジ課題 Ø RAGを使って、あなたの興味のある話題について語れるRAGを作ってみる l キャンプ、サウナ、料理・・・などなど l Wikipediaなどからコピペでテキストを作成し、inputフォルダの中に置いて実⾏ Ø Agentのサンプルコードにツールを⾜したり引いたりして いろんな質問をしてみる
25. ご清聴、ありがとうございました