Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Azure OpenAI Service Dev Day / LLMでできる!使える!生成AI...

Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント

Masahiro Nishimi

July 25, 2024
Tweet

More Decks by Masahiro Nishimi

Other Decks in Technology

Transcript

  1. 西見 公宏(にしみ まさひろ) 株式会社ジェネラティブエージェンツ代表 #アジャイル開発 #生成AI #顧問CTO #新規事業IT #中学生からプログラマ #富士山の麓に移住

    生誕〜/ゲーム開発 1983年 兵庫生まれ/東京育ち 中学生時代からプログラミング に親しみ、CGIによるWebサー ビス開発やDirectXを利用した 同人ゲーム開発などを行う。初 めて触ったのはC言語。 起業/Web制作 2001年頃からWebデザイナー として活動開始 法人向けWebサイトの受託制 作からスタートし、法人向け CMS、デザインテンプレート の開発/提供を行う。 就職/大規模開発 顧問CTO/サービス開発 現在/生成AI 2008年〜TIS株式会社 財務会計領域を中心にERPコン サルタントとして従事。金融か ら製造業まで経験。大規模デー タから会計仕訳を自動生成する 仕組みのソリューション化。 2011年〜株式会社ソニックガーデン 設立期に1人目社員としてジョイ ン。顧問CTOとして企画から開発ま で従事。アジャイル開発特化。2015 年に取締役就任。年間100件以上の 新規事業相談に対応、PJ立ち上げ。 2024年〜株式会社ジェネラティブ エージェンツ創業:AIエージェン ト書籍の上梓をきっかけにAIエー ジェント活用事例の展開を加速す るため3人の共同創業者と共に新会 社を設立。事業拡大に奔走中。 https://my.prairie.cards/u/mah_lab #助成金メンター #講師業 2023/12/16発売! 有限会社エッジドエッジ代表プログラマ 合同会社てにをはCTO Unicorn farm主催Startup Advisor Academy認定 山梨県地域課題解決型起業支援事業2023メンター サウナ・スパ健康アドバイザー #専門誌連載 #書籍執筆 ▼MBTI  ENFP(外向、直観、感情、知覚的態度) ▼ストレングスファインダー  最上志向、収集性、戦略性、未来志向、適応性 ▼趣味  サウナ、焚き火、子どもと遊ぶこと、安い店で飲むこと マイパーソナリティ #Ruby #子ども3人 #イヌ
  2. 会社名 株式会社ジェネラティブエージェンツ (英文:Generative Agents, Inc.) 所在地 東京都港区 ※ 全社員リモート勤務 役員構成

    CEO 西見 公宏 COO 吉田 真吾 CTO 大嶋 勇樹 設立年月 2024年3月14日 事業内容 AIエージェントによるBPaaSの提供/生成AIを活用し たソフトウェア開発/技術顧問、AIエージェントに関 わるコミュニティ運営、法人向けコンサルティング AIエージェントによるBPaaSの提供 複雑な業務管理を自律的におこなうLLMエージェントサービスを提 供します。独自のワークフローエンジンと複数プロフィールを設 定したマルチエージェントシステムが御社のワークフォースとし て業務を遂行します。 生成AIを活用したソフトウェア開発支援 AIエージェントの開発技術をコアに、生成AIを活用したソフトウェ ア開発をレンタルCAIO(最高AI責任者)として支援します。 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する
  3. 代表取締役CEO / Founder 西見 公宏 Masahiro Nishimi 事業会社の顧問CTOとして活動するソフトウェア開発のスペシャリス ト。AIエージェントを経営に導入することにより、あらゆる業種業態の 生産性を高めるための活動に尽力している。

    「その仕事、AIエージェントがやっておきました。――ChatGPTの次に 来る自律型AI革命」(技術評論社)単著、Software Design「実践LLMア プリケーション開発」(技術評論社)連載。 主な著書 『その仕事、AIエージェントがやっておきました』 取締役COO / Co-founder 吉田 真吾 Shingo Yoshida AWS Serverless Heroとして日本におけるサーバーレスの普及を促進。 「ChatGPT/LangChainによるチャットシステム構築[実践]入門」(技 術評論社)共著、「Azure OpenAI ServiceではじめるChatGPT/LLMシス テム構築入門」(技術評論社)共著、「AWSによるサーバーレスアーキ テクチャ」(翔泳社)監修、「サーバーレスシングルページアプリケー ション」(オライリー)監訳、「AWSエキスパート養成読本」(技術評 論社)共著。ChatGPT Community(JP)主催 主な著書 『ChatGPT/LangChainによるチャットシステム構築[実践]入門』 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門  エンジニア選書』 取締役CTO / Co-founder 大嶋 勇樹 Yuki Oshima 大規模言語モデルを組み込んだアプリケーションやAIエージェントの開 発を実施。 個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコー スUdemyではベストセラー講座多数。 「ChatGPT/LangChainによるチャットシステム構築[実践]入門」(技 術評論社)共著。勉強会コミュニティStudyCo運営。 主な著書 『ChatGPT/LangChainによるチャットシステム構築 [実践]入門』 運営メンバー
  4. エージェント AIエージェント LLMベースの AIエージェント (LLMエージェント) 自律的に動作し目的達成を目指すソフトウェアの総称。ルールベースのエキ スパートシステムから、AIを活用する高度なエージェントまで幅広く含む。 機械学習アルゴリズムを用いて訓練されたモデルを活用するエージェント。 教師あり学習や強化学習などの手法により、パターン認識や意思決定を行 う。適応性と汎用性に優れる。

    大規模言語モデル(LLM)を活用し、自然言語処理を高精度で行う最先端のAIエー ジェント。大量のテキストデータを用いた自己教師あり学習により、言語に関 する広範な知識を獲得し、複雑なタスクを処理できる。LLMの登場により、言 語に関わる幅広い分野でAIエージェントの性能が飛躍的に向上している。 ※エキスパートシステム: 特定分野の専門知識をルールベースで表現し、推論を行うシステム。 ※教師あり学習: 入力データとそれに対応する正解ラベルを用いてモデルを訓練する機械学習の手法。 ※自己教師あり学習: ラベル付けされていない大量のデータを用いて、モデル自身が入力データの一部をマスクし、マ スクされた部分を予測することで、言語の構造や文脈を学習する手法。正解ラベルを明示的に必要としない。 生成AIエージェント/LLMエージェントの位置付け
  5. 人間による部分的な管理下において、複雑な目標を、複雑な環境で、適応的に達成する度合い OpenAI『Practices for Governing Agentic AI Systems』より 「現在の通常のAI」と「AIエージェント」には明確な境界があるのではなく、 以下の4つの性質が強いほどAIエージェントらしいと言える。 目標の複雑さ

    環境の複雑さ 適応性 独立した実行 複雑で広範な目標を達成できるほどエージェントらしい 多くの環境、利害関係者、外部ツールの関係が必要なほどエージェントらしい ルールベースの対応だけでなく、予期しない状況に対応できるほどエージェントらしい 目標の達成までの人間の加入が少ないほどエージェントらしい エージェントらしさ(Agenticness)とは?
  6. 内部向け 外部向け 創造的タスク 定型的タスク 意思決定支援 新規事業アイディエーション ペルソナによる製品シミュ 成果物生成 提案書作成/報告書作成 マーケットリサーチ

    業務アシスタント 日程調整や資料検索 成果物レビュー カスタマー エンゲージメント 顧客支援のための AIエージェント いろいろな顧客と話してみた結果から見えた、現時点の生成AIエージェントへのニーズ AI for Imagination(博報堂) https://www.hakuhodo.co.jp/news/newsrelease/109174/ 汎用AIアシスタント(Copilot Studio / Microsoft) https://www.microsoft.com/ja-jp/microsoft-copilot/micr osoft-copilot-studio LIVEX.AI AI Sales Agent https://livex.ai/products#ai-sales-agent Patent Pal(特許出願支援ツール) https://patentpal.com/
  7. 内部向け 外部向け 創造的タスク 意思決定支援 新規事業アイディエーション ペルソナによる製品シミュ 成果物生成 提案書作成/報告書作成 マーケットリサーチ 業務アシスタント

    日程調整や資料検索 成果物レビュー カスタマー コミュニケーション タレント人格の チャットボット化 そのニーズを満たすために、私たちが取り組んできた生成AIエージェント リサーチエージェントを ベースとしたシミュレー ション、成果物生成エー ジェント開発 Agentic RAGをベースとした アシスタントエージェント 開発 外部向け 創造的タスク 定型的タスク
  8. 生成AIエージェントのアーキテクチャ 基本アーキテクチャ Agentic RAG 現状理解 計画 ツール実行 評価・修正 出力 環境

    記憶 リサーチエージェント ユーザー要求を、ユーザーのコンテキス トにあわせて拡張し、いかにして明確な 目標を作り出すかがポイント。 ・Passive Goal Creator ・Active Goal Creator Agenticの観点では、検索性能の出るク エリをいかにして動的生成するかがポイ ント。ただし、そもそも検索性能の悪い エンジンに対してクエリを工夫しても しょうがないので、どちらかというと、 そもそも検索の性能に着目する方が期待 する効果が出やすかったりする。 ・Retrieval Augmented Generation 初期に定義した目標からズレない成果物 をいかにして作り出すか。ユーザーがそ のまま利用できる成果物であることが重 要。 ・Tool/Agent Registry Passive Goal Creator、Active Goal Creator、Retrieval Augmented Generation、Tool/Agent RegistryはLiu et al. (2024)のエージェントデザインパターンカタログによる、AIエージェ ントの設計パターン名を表しています。https://arxiv.org/abs/2405.10467
  9. いわゆるワークフローと生成AIエージェントの違い ワークフロー 生成AIエージェント • ユーザーが自分の手で個々の処理をフローとして繋 ぎ合わせ、作成する • 決められた通りに動作するため安定性が高い • ワークフローは増え続けるため、保守に注意が必要

    • 生成AIエージェントがユーザーの要求に応じてオンデ マンドでワークフローを生成する • ユーザーの要求を達成するフローが必ず生成される とは限らないため、新しいマネジメントが必要
  10. Slack kintone ※MTG書き起こしデータなど データ検索基盤 開発 イシュー 完了した イシュー 完了 レポート

    データ抽出 お問い合わせ 提案書 人間が生成するデータに影響を与える 案件 お仕事 組織に実装 情報発信 認知 アセット化 Github 社内で活躍する生成AIエージェント
  11. 業務に特化したソフトウェアの在り方が変わる アジャイルによる業務アプリケーション 生成AIエージェントベースのアプリケーション • 変化する業務にあわせアプリを更新し続ける • 要件通りに動作するため安定性が高い • ただし継続的な開発が必要となるためランニングコ ストは高くなり、突発的なニーズには対応しづらい

    • 生成AIエージェントがユーザーの要求に応じてオンデ マンドでワークフローを生成、処理を実行する • AIによる推論のため安定性は低いが、正解ケースを 「ふりかえり」を通じDBに保存することで成功率を 高める ソフトウェア API API API ビジネスの変化に対応するため ソフトウェアは継続的に 開発し続ける必要がある API API API 「ふりかえり」による 自己学習により 自律的にノウハウを形成 入力スキーマを渡せば 自動的にAPI接続できる APIの繋ぎ込みには 開発が別途必要
  12. Environment(環境) Perception(知覚) Brain(思考) Action(行動) ビジネス環境におけるデータ を知覚できるか? LLMによって思考しやすい データ形式になっているか? ビジネス環境に適したデータ に変換できるか?

    ビジネス環境に対して、AIエージェントがどうワークできるか? 日本の業務現場特有の ファイルデータの解釈が できない (全角のあとに半角スペース、セル 結合だらけのExcel。。)
  13. Environment(環境) Perception(知覚) Brain(思考) Action(行動) ビジネス環境におけるデータ を知覚できるか? LLMによって思考しやすい データ形式になっているか? ビジネス環境に適したデータ に変換できるか?

    ビジネス環境に対して、AIエージェントがどうワークできるか? 成果物として通用するフォー マットで出力して欲しい (マークダウンは求めていない)
  14. (参考)チャットボット、エージェント型システム、ソフトウェアシステムの棲み分け 柔軟性 確実性 ユースケース チャットボット 高 低 不定型な業務の叩き台を作成する目的で使用する (例:メール文例作成、提案書アイデア生成) エージェント型

    高 中 多様な業務処理を繋ぐハブとして使用する 要件の定まっていないタスクをAIと協力して進める ソフトウェアシステム 低 高 定まった要件を確実に実行するために使用する