誰でもAIエージェントが作れる開発環境 Dify/Llamaの紹介

Transcript

1. 誰でもAIエージェントが作れる開発環境 Dify/Llama3.1の紹介 2024年10月24日 株式会社エクサ 堀 扶 登場する会社名、製品名、 およびサービスは、各社の 商標または登録商標です。 ラマ ディファイ
2. 孫正義：AIの進化 • 調和の取れた超知能へと進化 • 自らの意思を持つ • 組織全体の仕事を遂行 • イノベーションを創出 • ユーザに変わって行動（エージェント） • 博士レベルの問題解決力 • 人間との自然の会話（チャットボット） ソフトバンクビジネスブログ「AIは数年で超知性へと進化し、パーソナルメンターに。孫正義 特別講演レポート」より引用 AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 2
3. AIエージェント 特定の環境下で目標を達成するために、 AI自身が行動を選択して実行するエージェント 【エージェント】 1. 代理人。代理業者。 2. スパイ。諜報員。 3. 状況に応じて利用者の意図に沿った一連の作業を自動的に行うコンピューターシステム。 制御系・強化学習での”エージェント”とは意味合いがすこし違う AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 3
4. 【参考】AIアシスタント ユーザの指示に応じ、AIを活用してタスクを自動化したり情報を提供 したりするソフトウェア • AIエージェントとの共通点 • AIを活用している、自動化、ユーザサポート AIアシスタント AIエージェント 動作の自律性 主にユーザからの指示に従って動作 自律的に目標を達成するために判断・行動 目的 日常のタスクや質問への回答、情報提供 自律的な問題解決や意思決定、複雑なタスクの 遂行 インタラクションの 形式 対話型（音声・テキスト） 対話型もしくは完全に自律的で、環境と継続的 に関与 例 スマートスピーカ、ドキュメント作成支援、市場 動向調査、製品比較 自動運転、金融市場でのリアルタイム市場分 析・不正取引検知、自動化倉庫、バーチャルア シスタント、医療診断、商品のレコメンド AI アシスタント AI エージェント ChatGPT Pro GPTs Perplexity Felo GenSpark AIエージェント 孫正義：AIの進化 チャットボット 孫正義：AIの進化 エージェント ※本資料は発表者の主観を含んでいます Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 4
5. プロンプトエンジニアリング 《Zero-Shot》 何も情報を与えず質問 《One-Shot》 １つだけ例を与えて質問 《Few-Shot》 複数例を与えて質問 《深津方式》 役割や指示を明確に与え希望する回答へ導く AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 5
6. ReAct：Reasoning and Acting ※JavaScriptフレームワークではない AIに対して「思考」→「行動」→「観察」の順で回答させる ユーザがReActを促すプロンプトを 投入する場合 ※RAGを実装している場合は、直接質問したほうが良い場合も AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 6
7. 【参考】『タスクばらし』例：読書感想文 引用元：https://x.com/kamineko0817/status/1016215472721690624 自分にぴったりな本を選ぶ →今の自分に近い本を選ぶ あらすじは書かない 自分自身にインタビューする 本を読んで思ったことを徹底整理 • 主人公に反発を感じる箇所を探す • 本の内容に反対だとおもったか • Q1からQ5を使って整理 思ったことを文章にする 校正をおこなう • 長文を短文にする • 「～ので」「～だから」は１文１回まで • 同じ語尾を使わない 最後に音読する AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 7
8. 情報のインデックス化 RAG(Retrieval-Augmented Generation) 情報検索 機能 クエリ 日本の総理大臣 の名前は？ 関連 情報 情報源 LLM 回答 石破茂です GPT-3.5 前処理 エンベッ ティング ベクトル インデック ス 情報源 ベクトル ストア クエリ エンベッ ティング ベクトル 類似度 計算 関連 情報 LLM 回答 クローリング 文書整形 バイエンコーダ クロスエンコーダ 疎ベクトル 密ベクトル ベクトル テキスト情報 メタデータ 内積 コサイン類似度 バイエンコーダ クロスエンコーダ LLMでのテキスト生成 AIエージェントの基本アーキテクチャ https://www3.nhk.or.jp/news/html/20241001/k10014597271000.html AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 8
9. 【参考】RAGの性能改善 問題 概要 解決策 日本語向けにカスタマイ ズされた高性能モデル が少ない • 生成部分のクローズ ドQAに重点を置いた 微調整 • 埋め込み部分のトーク ナイザーを含む改善 を検討 ファイン チューニング 検索に必要な情報の入 力不足 類似検索におけるインテ ントの一致が困難 期待する情報を検索でき ていない 検索結果から正しい答え が抽出できない 0. 事前処理 1. 入力データの処理 2. 文書の検索 3. ハイブリッド検索 4. 文脈ベースの応答 精度を向上させるループ を確立できない 5. 運用 Q：「AIの強みを教え て？」 A：「検索に必要な情報 が足りません」 クエリ拡張 質問分解 融合 Q：「初心者向きのカメ ラを教えて」 ※似ているがインテント を反映できない • 初心者向きカメラを 欲している？ • 子供がカメラを欲し がっている？ • 初心者向けのカメラ の選び方に関する包 括的なガイドをもとめ ている？ 【検索結果】 • 初心者でもカメラレン ズを通して新たな視 点を発見 • 初心者に役立つプロ グラミング本 • 初心者向けのカメラ 選びの総合ガイド ドキュメント構造化 FAQ/知識構築 ベクトル検索 キーワード検索 ハイブリッド検索 再ランク 【検索結果】 • 誤った回答例 • 突然終わる文 • 図表がインポートでき ない チャンキング調整プロン プトエンジニアリング 精度向上ループを確立 できない • 回答生成 • フィードバック • 検証 • 継続的向上 精度の問題の原因を特 定するためのデータ追加 メカニズム 運用中に計画された実装 ※Alibaba社資料より AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 9
10. 【参考】Self-Route • RAG性能改善手法の一つ • RAG結果が回答に合わない場合、全文添付した質問で回答させる RAG結果が正解を出せる 内容かLLMに判断させる https://qiita.com/ryosuke_ohori/items/a94c648df3243b5af323 AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 10
11. Function Calling 《LLMFW》 アプリ コード 1. アプリケーションは、 プロンプトとLLMが呼び出せる関数の定義を使って APIを呼び出します。 2. モデルは、ユーザーに応答するか、 1つ以上の関数を呼び出すかを決定します。 3. APIは、呼び出す関数とその引数を指定して アプリケーションに応答します。 4. アプリケーションは与えられた引数で 関数を実行します。 5. アプリケーションはAPIを呼び出し、 プロンプトと関数の実行結果を提供します。 《LLM》 GPT-4o 外部システム API 関数の定義を理解し、 どの関数にどの引数を渡すかを 応答で指示できるように学習されている プロンプトに関数定義(OpenAPI定義)を加えて渡す LLMからの指示に関数呼び 出しがあればアプリコード 側からAPIを呼び出す プロンプトにAPIの結果を 加えて渡す 外部システム API定義 呼び出し可能なAPI 定義を事前に登録 OpenAIサイト「Function Calling」の図を引用・日本語に翻訳 AIエージェントの基本アーキテクチャ AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 11
12. マルチ エージェント チャットボット エージェント BabyAGI タスク駆動型AIエージェント BabyAGI @yoheinakajima MITライセンスOSS 140行程度で記述されている タスク 作成 エージェント (GPT-4) タスク 優先度付け エージェント (GPT-4) タスク 実行 エージェント (GPT-4) タスク リスト ユーザから ゴールが与えられる ①ゴール達成に必要な タスクリストを生成 ②タスクリストに実行の 優先順位をつける 現在のタスクリスト を渡す ③タスクリストの中から 最初のタスクリストを取得 メモリー 現在のタスクの 状態、結果が 保存されている ④タスクの実行結果を渡す タスクと実行結果 をペアで保存 タスク実行に必要な 情報を取得 ユーザ タスクばらしを LLMにまかせる AIエージェント（ワークフロー）の実装例 LLM LLM 観測 AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 12
13. BabyAGI とほぼおなじ 【参考】FOXYメソッド • FOXY:Final Output eXamination from “Yesterday” • 最終的なアウトプットを出した後に振り返りを行い、今後の改善点 をDBへ保存し、次の指針にする 振り返り DB ユーザからゴールが渡される 過去の振り返り結果を参照 タスクリストを生成 タスク1を実行 タスク2を実行 最後のタスクを実行 タスクの実行結果を出力 タスク実行の振り返り 今から取り組もうとしているゴールに 近い取り組みをDBから探し、 その振り返り結果を参照する 人間が普段行っている 『内省』をBabyAGIに追加 ゴール、タスクリスト、振り返り結果、 実行日時の組み合わせをDBに保存 AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 13
14. LLMオーケストレーションフレームワーク LangChain LLamaIndex Python、Java Script Python、TypeScript MITライセンス MITライセンス 柔軟性がある データの効率的な整理・検索に強い 複雑なAIエージェント向き RAGを扱うAIエージェント向き カスタマイズ性が高い 機能が限定的で、使いやすい 元Robust Intelligence社員が立ち上げ、現在法人化 元Uber社員らが立ち上げ、現在法人化 書籍など情報が多い LangChainと比較すると少ない 大規模言語モデル(LLM)を効果的に管理・制御し、AIアプリケーション開発を容易にするための ツールやプラットフォーム • 様々なLLMへの統一されたインターフェース提供 • プロンプト管理 • データの取得・処理・LLMへの入出力 • 外部APIとの連携 • 長期記憶（コンテキスト）の管理 主なLLMオーケストレーションフレームワーク： 業務特化したAIエージェントを作成するには 誰でも使える開発ツールが必要 AIエージェント Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 14
15. Dify 元テンセント社員らが立ち上げ、現在法人化 • 直感的なノーコードUI • LLMオーケストレーションフレームワークを知らなくても（ある程度は） AIエージェントが作れる • 豊富なAIモデルをサポート • RAGエンジンによるナレッジ機能 • 多彩なテンプレートとコンポーネント • 作ったエージェントをAPIサーバとして公開できる • SaaS(サンドボックスは無償) • ローカル環境内での実行可能 • OSS(MIT)版は機能制限(1ワークスペースなど) • Docker Composeで起動・停止 • AIモデルは別途必要 DifyはオープンソースのLLMアプリ開発プラットフォームです。 RAGエンジンを使用して、エージェントから複雑なAIワークフローまでLLMアプリを編成します。 LangChainよりも本番環境に適しています。 https://dify.ai/jp Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 15
16. Difyアプリのタイプ タイプ 説明 備考 チャットボット チャット形式のアプリを構築 「質問→回答」を継続する対話が可能 基本： • RAGのみ Chatflow(β)： • RAG/Function Calling/複数LLM連携 テキストジェネレータ 高品質なテキストを生成するアプリを構築 記事作成、翻訳、要約など チャットボット（基本）にqueryという変数が デフォルトで用意 ※バッチ実行：CSVを入力に使用できる エージェント タスクを自動的に完了するアプリを構築 ツールを呼び出せる RAG/Function Callingを単一LLMで使用 ワークフロー(β) 高品質なテキスト生成するアプリを構築 高度なカスタマイズが可能 RAG/Function Calling/複数LLM連携 ※バッチ実行：CSVを入力に使用できる Dify ※Dify 0.10.0 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 16
17. 【参考】主要タブの機能 タブ名 機能 説明 探索 サンプルコード 複雑なワークフローを組みたい場合のサンプルとして。 バージョンごとに追加・更新・削除されている。 スタジオ ワークフロー /ReAct/RAG(使 用)/Function Calling(使用) ログイン時のデフォルト、メインの開発画面。 ナレッジやツールを使ってチャットボット/エージェント/ワークフロー を作成する。 ナレッジ RAG(ベクトルDB作成) Webサイトやファイルからナレッジ(ベクトルDB)を作成する。 チャンクサイズ設定、全文検索、ベクトル検索、ハイブリッド検索 などのRAG精度向上時は主要開発タブになる。 ツール Function Calling(API登 録) 組み込みAPIの場合はAPIキー登録などの設定を行う。 カスタムAPIの場合はOpenAPI定義を登録し使用可能にする。 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 17
18. 【参考】AIチャットボット作成中画面 AIチャットボットの役割を与えるプロンプトを入力 使いたいモデルを指定 テスト用の入力欄 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 18
19. 【参考】直感的なノーコードUI NodeREDに似たUI 複数のLLMを使用できる If-else/forをノードで表現可能 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 19
20. 【参考】豊富なAIモデルをサポート • 主要なAIモデルを呼び出すことが可能 • OpenAI/Azure/Anthropic/Google/AWS/Oracle/ollama/Xinferenceなど • 各モデルプロバイダとはAPI接続するためのAPIキー取得が必要(無料枠・有料枠) Dify Ver0.9.2 がサポートするモデルプロバイダ数は49 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 20
21. 【参考】RAGエンジンによるナレッジ機能 チャンク（切り分け）サイズが カスタマイズ可能 埋め込みモデル・再ランクモデル指定可能 TXT,Markdown,PDF, HTML,XLSX,XLS,DOCX,CSV 1ファイル15MBまで Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 21
22. 【参考】テンプレートとコンポーネント • テンプレート • 英語のDifyアプリサンプル実装（39:Ver0.9.2） • 自動メール返信、書籍翻訳、感情分析、Youtubeチャンネルデータ分析な ど • 学習用、機能評価用として • コンポーネント • 外部APIサービス連携機能(72:Ver0.9.2) • Function Calling対象のツールとして使用可能、要APIキーのものあり • Google、Bing、Perplexity、YouTube、Slack、Twillo、Wikipedia、 GitHubなど Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 22
23. 【参考】カスタムコンポーネント Open API 定義があれば、ツールとして呼び出すことが可能 《YAML》 ポストくん OpenAPI定義 ポストくんAPIドキュメント OpenAPI定義に書かれている引 数名と同じ名前で変数を設定 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 23
24. 【参考】機能 使用可能なDifyアプリタイプ • チャットボット（基本）、エージェント Dify 機能 説明 会話の開始 チャットアプリでは、AIがユーザーに最初にアクティブに話 しかける最初の文は、通常、歓迎メッセージとして使用さ れます。 フォローアップ 次の質問の提案を設定すると、ユーザーにより良いチャット が提供されます。 テキストから音声へ 有効にすると、テキストを音声に変換できます。 音声からテキストへ 有効にすると、音声入力を使用できます。 引用と帰属 有効にすると、生成されたコンテンツのソースドキュメントと 帰属セクションが表示されます。 コンテンツのモデレー ション モデレーションAPIを使用するか、機密語リストを維持する ことで、モデルの出力を安全にします。 注釈返信 類似のユーザー質問との優先一致のためにキャッシュに高品 質の応答を手動で追加できます。 NGワード 類似質問のキャッシュ利用 引用元リンク 音声入力 音声出力 次の質問リスト提案 対話の冒頭定型文 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 24
25. 【参考】LLM Tools ランキング ※https://ossinsight.io/collections/llm-tools/ 2024/10/22スナップショット FlowiseもDifyに似た 開発ツール(MIT-L OSS) ※https://x.com/gijigae/status/1798226495489597634?s=66&t=fu59rSeOu4gUy28KuFkfzg Difyが 2024/4から 急上昇 Dify Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 25
26. 【参考】主要なローカルLLMモデル モデル名 種類 説明 ライセンス llama3.1:8b llama3.2:3b LLM Meta社が提供するローカルLLM(8b,10b,405b) 商用利用は、「月間アクティブユーザーが7億人以下であれば無償で利用できる」条件つき 改変・配布は可能（ファインチューン可能）だがNotice要添付で特許使用禁止 llama3.1 Community License llama3.2 Acceptable use policy gemma2:9b LLM Google社が提供するローカルLLM(2b,9b,27b) 生成物は自由にできるが禁止事項が定められている 禁止事項：他人の権利を侵害する使い方、違法行為助長に使うこと、法律／医療／会計な どの免許が必要な専門業務へ無許可で使うこと、スパムや詐欺のための生成など Gemma Term of Use quen2.5:7b LLM Alibaba社の提供するローカルLLM(0.5～72b) ライセンス的には一番自由度が高い、ファインチューンも可能 Apache License 2.0 mxbai-embed- large:335m Embed mixedbred.aiが提供するテキスト埋め込みモデル Apache License 2.0 nomic-embed-text:v1.5 Embed Nomicが提供する137mのオープン埋め込みモデル Apache License 2.0 bge-m3:567m Embed 「多機能」「多言語」「多グラニュラリティ」を特長とするBAAIのテキスト埋め込みモデル MIT License yi-coder:9b LLM(コード生成) オープンなコード生成LLM/SLM(1.5b,9b) 公式には多言語サポートされていない Apache License 2.0 パラメータ数が大きいと、モデルサイズも大きくなる LLama3.2 1b→約1.3GB ローカルモデル Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 26
27. 【参考】LLMのトレーニング • Pretraining • 文法、知識の獲得 • インターネット上のテキストを学習データに使用 • 文章の途中までを与え、その次に来るトークンを推論させる • Instruction Tuning • 質問にたいしてどう回答するか • 質問・回答フォーマットはモデルによって異なる • Instructionを与え、回答を推論させる • ファインチューニングではLoRAや量子化といった手法を使う • RLHF: Reinforcement Learning from Human Feedback • 価値観(倫理など)を学習 • 強化学習ベースなので人間の価値観を反映させた報酬関数が必要になる • プロンプトに対して、正しい・正しくないという判断を行うモデルを使うなど ローカルモデル Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 27
28. 【参考】LoRA Low-Rank Adaptation • もとのモデルは追加学習しない • 追加パラメータとなる低ランク行列（アダプタ）を学習させる • 推論結果は「もとののモデルの結果＋追加パラメータモデルの結 果」 《追加パラメータ》 入 力 デ ー タ もとの モデル × 入 力 デ ー タ もとの モデル × 入 力 デ ー タ 低ランク行列B × ＋ 低 ラ ン ク 行 列 A × 出 力 デ ー タ ＝ 《通常のファインチューニング》 《LoRA》 ファインチューニング時の更新パラメータ数を減らすことができる ※新納浩幸「LLMのファインチューニングとRAG」より引用・加筆 ローカルモデル Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 28
29. 【参考】ローカルモデルAPIサーバ • APIサーバをDifyとは別に構築することで、ローカル モデルを活用できる • 基本的にNvidia GPUが必要と考えて良い • LM Studio • GUIを備えた OSS AIモデルAPIサーバ • 簡単に試すことができるが独自ライセンスベース • Ollama • GGUF形式のモデルを提供するAPIサーバ • MITライセンスのOSS 、Docker を使って起動・停止可 能 • Xinference（Xorbits Inference） • Hugging Face上で公開されているモデルをAPI提供でき る • Apache2.0ライセンスのOSS、Dockerを使って起動・ 停止可能 Xinference Ollama LMStudio0.3.4/Llama3.2 1B T14にてLLama3.2 1Bは動作 要NVIDIA GPU CPUのみでも動作するが ほぼ要NVIDIA GPU ローカルモデル Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 29
30. モデル プロバイダ ローカルモデル プロバイダ データレイク Difyを使ったシステム構成例 業務システム フロントエンド サーバ 業務システム 利用者 業務システム バックエンド サーバ DB ファイル AIエージェント サーバ (30エージェントまで) 業務 エージェント AIエージェント 開発・保守担当 ローカルモデル サーバ (GPU) ファインチューニング ノード (高火力サーバ) 業務特化AIモデル 開発・保守担当 （ファインチューニング） 業務特化 AIモデル 業務特化 AIモデル ローカル モデル 業務システム 利用 AIエージェントの更新・デプロイ 業務特化AIモデルの更新・デプロイ カスタムツールとして 学習データとして AIエージェントを使う ローカルモデル 組織内デー タサイエン ティスト 業務スペシャリ スト （非SE含む） どうしても独自チューンしたAIでないと実現できない機能がある場合 ダウンロード API呼び出し （従量課金） API経由で 機能呼び出し クラウドだ とコストメ リットでない かも.. 業務システムから呼 び出す回数が多いモ デルのみダウンロード コスト・継続性などから LangChainに移植しAPIサーバ を立てることを検討する場合も Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 30
31. AIエージェント活用のための組織展開 個人 業務 への 適用 業務 プロ セス 改善 経営層の コミット・ 意識醸成 生成AI試 行環境構 築 生成AIリ テラシの 教育 BU・部署ごとのAIエヴァンジェリスト配置 利用状況 の把握 ユース ケースの 創出 知見の共 有 対象業務 の特定 PoC 効果検証 業務プロ セス実行 GitHubCopilot たまちゃん/議事録作成 AIを使う社員 AI活用を主導する社員 AIを活用する社員 シンギュラリティの壁 中期計画 プレイグ ラウンド Slap4 リモートワーク研究所より引用・加筆 まとめ Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 31
32. Difyプレイグラウンド環境 • Dify/Ollama/Xinferenceの挙動を試行するための環境を作る • GPUつきPCを持っている/Difyだけでよい→Docker Compose • GPUつきPCを持っていないOllama/Xinferenceも→AWSなど • AWS上のGPUインスタンスは結構値段が張るので注意 《AWS環境でのプレイグラウンド構成例》 《Docker Compose環境でのプレイグラウンド構成例》 Dify SaaS 無償版を使用できない場合に まとめ Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 32
33. Udemyで受講可能なDify講座 • 初心者のためのDify入門ハンズオン講座☆4.3/L24 • おそらく最初に上がった講座、バージョンアップごとの更新があった • Difyで「AI従業員」を作ろう！ノーコードで迅速に構築する生成AIアプリ☆4.4/L27 • UdemyでAI講座をたくさん出している我妻氏の講座 • 【GPTsハッカソン3連覇のwebエンジニアが教えるDify・GPTsで役立つアプリを開発する方法を徹底解 説☆4.5/L152 • ベースはGPTs講座、Difyは後でセッション追加された、アプリ屋の学習向きではない • Azure/AWS環境上でDifyサーバを構築する手順を紹介 • 【生成AI】【Dify講座】社内文書を学習した実用的なチャットボットを作ってみよう【非エンジニア向 け】【ノーコード】☆4.7/L44 • 未受講、タイトルから非SE社員にも優しそう • 【短期間でAIアプリを作る】Difyブートキャンプ☆4.2/L20 • 未受講、比較時点では一番☆が少ない • オープンソースAIモデル活用入門－画像・音声・言語にわたる多様なモデルの使い方から文章QA・ファ インチューニングまで • LLMモデルのファインチューニングを始めたい人向け 基盤 向け アプリ 向け 非SE 向け ※2024/10/15時点 本セッションを聞いたあとは.. まとめ データサイ エンティス ト向け Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 33
34. ChatDev • 論文「Communicative Agents for Software Development」 • AIエージェント同士の協働により架空のソフトウェア会社を作る試み • ソフトウェア開発のプロセス全体を7分以内で完了 • LLMによる思考プロセスを実行するためのOpenAI API使用料は1ドル未満 • 70件のユーザ案件から生成されたソフトウェアを分析 • ソフトウェア製造時間平均410秒 • 製造コスト約0.3ドル • AIエージェント同士の協働による品質向上工程が組み込まれている • AIエージェント内で実施されたソースレビューで約20種類の脆弱性を発見・修正 • テスト工程にて10種類以上のバグを検出・修正 AIエージェントが経営するソフトウェア開発会社 複数ラウンドのレビュープロセス中にレビューアエージェントが行った提案の分布 ウォータフォール開発プロセスのなかで AIエージェントはフェーズごとに役割が明確に定義されている 業務特化型AIエージェントを組み合わせる まとめ Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 34
35. 【参考】ChatDevっぽいサービス • GitHub Spark • 比較的単純なプロンプトからMicro-Appを作成できる • まだ明確な料金体系が公開されていない、試行するには登録が必要 • まだまだ情報が少ない • 小規模アプリ向け、プログラムをあまり知らない人向け？ • Bolt.new • プロンプトをあたえやや複雑なJavaScript/TypeScriptアプリを構築可能 • プログラマとペアプログラミングしながら開発していくイメージ • 無償でも使えるが、有償は月20ドルから • デプロイはNetｌifyというサービス • OSS(MIT)もある • Web Assembly上で動作→ブラウザ上のコンテナで動く まとめ Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 35
36. おわり Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 36
37. 参考文献 • NewtonPress Newton別冊「ChatGPT徹底解説」 • 生成AI、ChatGPTについてほとんど知らない人向け • 技術評論社「その仕事AIエージェントがやっておきました」 • AIエージェントとはなにかが学べる、PM/ライン職の方々にも • CQ出版社インターフェイス2024年8月号特集「プログラミングで体験 生成AI」 • プログラマ向け、実装コードから理解したい人向け • 早川新書「ChatGPTの頭の中」 • ChatGPTの中身を知りたいが数式は読みたくない人向け • 生成AI活用普及協会「生成AIパスポート公式テキスト」 • SEとしてどれくらい生成AIの知識があればよいかのベースラインに • 真ん中1/3くらいが法律・法令について おす すめ おす すめ Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 37
38. トークン • LLMでは１文字以上の文字列をトークン と定義する • EmbeddingモデルによりIDの切り出し方 は変わる • OpenAI APIのトークン分割を確認するサイ ト→Tokenizer • トークンごとに一意にIDが割り当てられる • 一般的に従量課金時の指標として使用さ れる • 入力テキストのトークン数＋出力テキストの トークン数 ※従量課金の単位に使用される Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 38
39. AIエージェントの構成要素 個性(Profile) • 担当するタスクにおける役割 • AIエージェントとしての性格 記憶(Memory) • 文書を捉えるための短期記憶 • 教訓を活かすための長期記憶 計画(Planning) • タスク実行のためのタスクばらし • 結果や教訓からの再プランニング 行動(Action) • タスク実行のための具体的な行動 • コード生成、画像生成、検索など ※論文 A Survey of Large Language Model based Autonomous Agents ど ん な 優 先 順 位 で ？ 昔何が有効だった？ で き る こ と は 何 ？ フィードバック リフレクション (内省) プロンプト 本文 プロンプト 冒頭 外部API API 定義 《ツール》 参照 ドキュメント 外部 DB プロンプト 末尾 《ナレッジ》 はじめに設計すること • タイトル（目的） • 個性・記憶・計画・行動 《タイトル》 AIエージェント名 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 39
40. JDLAガイドライン • お客様側に生成AIに対するルールが明文化されていない場合 • 生成AIの利用ガイドラインを参考にルール作りを促すことができる Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 40
41. Generative Agents • 論文「Generative Agents: Interactive Simulacra of Human Behavior」 • 仮想的な街”Smallville”に25人のAIエージェント • 個々に初期記憶を持つ • それぞれが初期の記憶に基づいて行動を開始し、相互に作用し合うことによって、一連のストーリーが創発 的に紡がれた • AIエージェント同士による創発的協働の可能性が示された 複数のAIエージェントによる社会シミュレーション 仮想的な街”Smallville” AIエージェントが行動しお互いと対話していく 街の中でストーリーが紡がれていく Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 41
42. Cognosys • 日常生活でのタスクや業務でAIエージェントを簡単に扱えるように • 自然言語でコマンドを理解、実行するインテリジェントアシスタント • 様々なツールやプラットフォームを統合 • 実行計画が複雑な場合ワークフローによる会話を行うながらタスクを実行 • ファイル分析、GoogleMap連携、Notify連携など 現在の汎用AIエージェントの市場規模、主要製品、 主要課題を調査してください 実行計画をまず立てる 汎用AIエージェントの主要製品調査 どういう種類の製品を調べるか選択依頼 汎用AIエージェントの市場規模の調査 選択した種類の製品に ついて洗い出し.. AIエージェントの実装イメージ例 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 42
43. 生成AI活用の指標 https://ascii.jp/elem/000/004/226/4226204/ 《今後の方向性》 生産性→顧客満足度 シフト Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 43
44. 生成AIツールの効果(GitHub Copilot) • 生成AIツールは全業務に適用できる「時短」ツール • 時間単価の高い社員から導入すると最も効果的 -10% 10% 30% 50% 70% 90% 110% 130% 150% 170% A B C 納期指標 Copilotなし Copilotあり -10% 10% 30% 50% 70% 90% 110% 130% 150% 170% A B C 品質指標 Copilotなし Copilotあり -10% 10% 30% 50% 70% 90% 110% 130% 150% 170% A B C コスト指標 Copilotなし Copilotあり ✕ Q C D ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ※情報処理学会デジタルプラクティス論文「コード生成ツールの導入判断のための評価方法の提案」より引用 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 44
45. 生成AIの成長限界 • 言語モデルにおいて、以下の要素間で「べき乗則」が成り立つ • 大規模言語モデル化で、性能が急に向上する ※2020年1月ジョンズ・ホプキンス大学、OpenAIの両研究者による論文より引用 グラフは対数値であるため直線になっている ※岩波書店刊岡野原大輔著「大規模言語モデルは新たな知能か」より引用 MMUL:数学、歴史、計算科学など57のタスクで構成される世界についての知識や問題解決能力を評価する指標 トークン：言語モデルにおける単語の単位、英語では4～6文字/トークン、日本語では1～2文字程度/トークン ※ただし、帰納的アプローチによる発見 学習データ AI人材 コンピュータ リソースの上限→生成AIの成長限界 Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 45
46. EoF Copyright (C) 2024, Tasuku Hori, EXA CORPORATION 46