Weekly AI Agents News! 5月号 プロダクト/ニュースのアーカイブ

毎週更新予定のWeekly AI Agents News! の過去のアーカイブです。
https://speakerdeck.com/masatoto/weekly-ai-agents-news

Transcript

1. Weekly AI Agents News @ottamm_190 ݄̑߸ プロダクト/ニュース編
2. はじめに • こちらは5⽉分のアーカイブです。 • LLMエージェントに関するニュースや論⽂をほぼ毎週更新しています。 • 論⽂、プロダクトの順番でまとめています。 • 個⼈の備忘録で取り組んでおり、誤りがある場合もあります。 • ⽂字サイズ16ptで⼩さいのでPCで⾒ることをおすすめします。
3. プロダクト/ニュース 5⽉27⽇配信 MS Build • Microsoft Copilot Studio: エージェント機能を備えたコパイロット • Microsoft Copilot StudioのCopilot利⽤分析機能 • Copilot Connectors：さまざまなサービスやデータソースと接続しAIが理解 • Copilot Extensions：Copilotをカスタマイズ • Microsoft Copilot StudioからCustom Copilotの作成 • Microsoft Copilot Studio：今後の機能 • Azure AI StudioからCustom Copilotsの作成 • Azure OpenAI の Assistants API v2 （プレビュー）が公開 • Power Automateのプロセス作成を⾃然⾔語、画⾯共有や⾳声指⽰で⾃動作成 ブログ • The Guide to AI Agents /LLMエージェントの基本的事項がわかるコラム • Key Guidelines for Writing Instructions for Custom GPTs • AgentHub が名前を Gumloop に変更 ベンチャー企業 • MILIZEが「MILIZE Financial AGENT」を発表 • Perplexity からInteractive Knowledge Cards機能がリリース • Zapier Central: AI ボットにお気に⼊りのアプリ間で動作するように教える • Octoverse：AIコンパニオン
4. プロダクト/ニュース 5⽉20⽇配信 リリース情報 ・GPT-4o のマルチメディア対応の進化 ・ChatGPT データ分析の改善 ・ChatGPTデスクトップアプリでワークフローを合理化 ・Google I/O ・様々なGoogleアプリにエージェントが搭載 ・Atlassian Rovo/チームメイト型エージェント ・Integrating LangChain with Azure Container Apps dynamic sessions 技術記事 ・モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 ・製造業での⽣成AI活⽤術：⾃社製品を理解した基盤モデルと検索を組み合わせた⽤途探索 ・⼩売業への⽣成AIエージェントの応⽤ ・SaaS Is Readying for an Agentic Future ・Multi AI Agent Systems with crewAI ・AIガジェット「rabbit r1」を使ってみた
5. プロダクト/ニュース 5⽉13⽇配信 製品の市場調査 • AI Agents are disrupting automation：⾃動化の市場調査 • How to get AI ʻagentsʼ working like humans • 新たな AI AgentOps の展望 • AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • Largest library of AI-UX Interactions 技術記事 • Agents for Amazon Bedrock: Handling return of control in code • Generative AIが製品設計に与える影響とその調整 • The Agentic Era of UX リリース情報 • Assistants API 画像理解対応 • OpenAI Model Spec公開 海外ベンチャー企業 • Assista/単⼀のアプリからビジネス管理 • Fin AI Copilot/パーソナル AI アシスタント
6. プロダクト/ニュース 5⽉6⽇配信 ニュース • ChatGPT Plusの全ユーザーにメモリ機能搭載 • AIデバイス「rabbit r1」が正式発売 • LangSmith is now in Azure Marketplace • What is an Enterprise AI Agent? 海外ベンチャー企業 • Magical AI/RPA ブラウザ拡張機能 • Bardeen /RPA ブラウザ拡張機能 • ELEVENTH AI /RPAワークフロー⾃動化 • Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • Graft Intelligence Layer/チームメイトAI • Kin /メモリに基づくパーソナライズAI • Sema4.ai/エンタープライズ向けGPTs
8. プロダクト/ニュース 5⽉27⽇配信 MS Build • Microsoft Copilot Studio: エージェント機能を備えたコパイロット • Microsoft Copilot StudioのCopilot利⽤分析機能 • Copilot Connectors：さまざまなサービスやデータソースと接続しAIが理解 • Copilot Extensions：Copilotをカスタマイズ • Microsoft Copilot StudioからCustom Copilotの作成 • Microsoft Copilot Studio：今後の機能 • Azure AI StudioからCustom Copilotsの作成 • Azure OpenAI の Assistants API v2 （プレビュー）が公開 • Power Automateのプロセス作成を⾃然⾔語、画⾯共有や⾳声指⽰で⾃動作成 ブログ • The Guide to AI Agents /LLMエージェントの基本的事項がわかるコラム • Key Guidelines for Writing Instructions for Custom GPTs • AgentHub が名前を Gumloop に変更 ベンチャー企業 • MILIZEが「MILIZE Financial AGENT」を発表 • Perplexity からInteractive Knowledge Cards機能がリリース • Zapier Central: AI ボットにお気に⼊りのアプリ間で動作するように教える • Octoverse：AIコンパニオン
9. Microsoft Copilot Studio: エージェント機能を備えたコパイロット • Microsoft Copilot StudioにGPTsのようなエージェント機能を搭載 • Template：Instructions, Triggers, Knowledgeが⾃動選択（おそらくActionsも） • Goal：エージェントの⽬的、Instructions：エージェントの役割 • Triggers：エージェントの起動、Knowledge：参照するソース、Actions：APIやフローの利⽤ • Topics: ローコードで作るハンドメイドワークフロー • 従業員が⼿動で⾏う⼀連のタスクを⾃動化できる • Copilot は、ユーザーと⼀緒に作業する Copilot から、ユーザーのために作業する Copilot へと進化 https://microsoftcopilotstudio.microsoft.com/en-us/blog/microsoft-copilot-studio-building-copilots-with-agent-capabilities/ Full Keynote: Satya Nadella at Microsoft Build 2024
10. Microsoft Copilot StudioのCopilot利⽤分析機能 • 履歴機能ではエージェントの実⾏したワークフローが⾒れる様⼦ • 改善案も提⽰する（左図の右端：Instructionsの提案もできる） • Copilotのマクロレベルの利⽤ダッシュボードもある https://microsoftcopilotstudio.microsoft.com/en-us/blog/microsoft-copilot-studio-building-copilots-with-agent-capabilities/ Full Keynote: Satya Nadella at Microsoft Build 2024
11. Copilot Connectors：様々なサービスやデータソースと接続しAIが理解 • ⾃社のビジネスシステムやアプリのデータに Copilot を接続できる • パブリック Web サイト、SharePoint、OneDrive、Microsoft Dataverse テーブル、Microsoft Fabric OneLake (今年中にリリース予定)、Microsoft Graph、主要なサード パーティ アプリなど • （ただ、繋げられると活⽤できるは天と地の差があり、どこまでうまくできるのか） https://powerapps.microsoft.com/en-us/blog/unlock-new-levels-of-productivity-with-microsoft-dataverse-and-microsoft-copilot-studio/
12. Copilot Extensions：Copilotをカスタマイズ • Copilotの思考回路は変更できないが、Actionsから道具を持たすことはできる • （独⾃定義したActionで別エージェントを実⾏していくのか） Build Microsoft Copilot extensions with Copilot Studio | BRK148 https://learn.microsoft.com/ja-jp/microsoft-copilot-studio/copilot-plugins-overview
13. Microsoft Copilot StudioからCustom Copilotの作成 • Copilotの作成と運⽤のロードマップとサイクルがシンプルでわかりやすい Build your own copilot with Microsoft Copilot Studio
14. Microsoft Copilot Studio：今後の機能 Build your own copilot with Microsoft Copilot Studio
15. Microsoft Copilot Studio：今後の機能 Build your own copilot with Microsoft Copilot Studio
16. ⾃社で作るか、Copilotを使うか What's new with Microsoft Copilot Studio
17. Azure AI StudioからCustom Copilot（Assistant）の作成 Azure AI Studio - Creating and scaling your custom copilots https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/assistant • Microsoft Copilot Studioで作るより開発者寄りで簡素化されている • OpenAIのAssistants APIにGUIがついたもの • ツール：Code Interpreter, File Search, Function Calling, Browse
18. Azure OpenAI の Assistants API v2 （プレビュー）が公開 Build sophisticated custom copilots with Azure OpenAI Assistants | BRK101 https://learn.microsoft.com/ja-jp/azure/ai-services/openai/whats-new • ファイル検索とストリーミング対応 • Bing Searchもtoolに追加予定、Bring your own Dataのインデックスも連携予定 ツールが充実！！
19. Power Automateのプロセス作成をテキストや画面・音声指示で自動作成 • Power Automateは、異なるアプリをまたぐワークフローを⾃動化するサービス • ⼈⼿でワークフローを作成し管理していたが、ユーザー体験は“show and tell” 時代にステップアップ • 画⾯共有と⾳声指⽰（テキスト指⽰も可）でワークフローを⾃動作成 • （正常系のみ指⽰をすると異常系を⾃分でワークフローを修正するのかな） • （⾳声指⽰は聞き取り締切の無⾔の圧⼒があるから、説明失敗しそう） https://powerautomate.microsoft.com/ja-jp/blog/revolutionize-the-way-you-work-with-automation-and-ai/ メールにある請求書から情報を別の場所に転記するよう指⽰ ワークフローを⾃動⽣成し⼈間が修正する
20. The Guide to AI Agents • AIエージェントは、従来のソフトウェアと異なり、タスクを⾃動的に実⾏するシステムです。 • アプリケーションは作業を⽀援しますが、エージェントは作業を完了させます。 • エージェントは、個⼈のアシスタント、企業内のタスク管理、顧客対応など、様々な⽤途で利⽤されます。 • LLM の⾃然⾔語理解、⾔語⽣成、推論により、初めて⾼度な AI エージェントの構築が可能になりました。 https://sierra.ai/news/ai-agents-guide
21. Key Guidelines for Writing Instructions for Custom GPTs • GPTsの指⽰の書き⽅と道具と⾏動の準備のガイドライン Enhancing Instructions • Simplify Complex Instructions：指⽰を分割して理解しやすく、トリガーと対応する指⽰をペアで提供 • Structure for Clarity ：明確な区切りを設けて指⽰を整理する • Promote Attention to Detail :「時間をかけて、深呼吸して、作業を確認して」を使⽤し注意を促す • Avoid Negative Instructions ：指⽰を否定的に表現しない • Granular Steps：タスクを細かいステップに分けて説明する • Consistency and Clarity：⽤語や分類を⼀貫して明確にする Tools and Actionsの特別な配慮 • Knowledge Files：ファイルの利⽤基準を明確に指⽰し、ファイル全体を分析するようにも指⽰する • Specificity in Prompts：具体的な例を⽤いることで指⽰を明確にする（⽇付や財務情報など） • Examples of Good Output：ナレッジとアクションの良い出⼒の具体例を⽰す • Referencing Actions:アクションは名前とドメインを参照する • Explicit Tool Use Instructions：参照、ナレッジ、カスタムアクションのツール使⽤⽅法を具体的に指⽰する https://help.openai.com/en/articles/9358033-key-guidelines-for-writing-instructions-for-custom-gpts
22. AgentHub が名前を Gumloop に変更 • AutoGPTでは、技術的知識がないユーザー向けのセットアップの難しさや、エージェントの実⾏コストと信頼 性の問題があった • AgentHubはAutoGPTの⼈気に触発され、ユーザーがエージェントを簡単にセットアップし、共有できるプ ラットフォームを提供するために設⽴されたが、現在はユーザーがステップバイステップのパイプラインを定 義するRPA的な要素が強いプロダクトになっている • 当初のエンジニアがエージェントの作成物を公開、ホスト、共有する場所にはなれなかった • AIに詳しくない⼈はエージェントが何なのか知らず誤解を⽣む • AgentHubがAsianHubに聞こえる • GumLoopはガムの粘着性のようにデータやアプリをつなぎ、1 つの⾃動化を 10,000 回ループできることは、 プラットフォームの中⼼的な価値と考えて付けたそう https://www.gumloop.com/blog/why_agenthub_exists?ref=blog.gumloop.com https://blog.gumloop.com/agenthub-to-gumloop/
23. MILIZEが「MILIZE Financial AGENT」を発表 • ⽇本からもエージェントのサービスが開発されている • 多くの⾦融機関の⽣成AIのプロジェクトを⽀援している中で、チャット形式のLLMの活⽤よりも、⾃律的に作 業を⾏うニーズの⽅が多い • ⾦融機関がノーコードでLLMを活⽤したエージェント構築ができる環境を提供予定 ファイナンシャルアドバイザーのワークフロー ⾦融のドメインに特化したエージェント https://milize.co.jp/news/20240522_5981
24. Perplexity からInteractive Knowledge Cards機能がリリース • Perplexity は 他社のTako を搭載したインタラクティブなナレッジ カードを表⽰ • ⽐較ワードなどのフレーズ検知で信頼のあるプロバイダーから情報を取得しグラフを描画 • ⾦融、経済、政治データの範囲で、単⼀ドメイン検索 (例: 「Nvidia 株価」)、クロスドメイン検索 (例: 「Nvidia 株価 vs. バイデン⽀持率」)、時間ベースの検索 (例: 「Nvidia 株価 vs. バイデン⽀持率 (2022 年 1 ⽉ 11 ⽇以 降)」) をサポート • 注: 最初は⽶国のユーザー向けに英語で提供され、モバイル アクセスは近⽇中に開始されます。 https://trytako.com/blog/introducing-tako-and-perplexity-integration https://www.perplexity.ai/collections/Interactive-Knowledge-Cards-2FMyYxiKRfaUpOZLhO3NYw
25. Zapier Central: AI ボットにアプリ間で動作するように教える • Zapier Centralは、AIと⾃動化を融合させて業務効率を最⼤化するためのプラットフォーム • 6000以上のアプリにアクセスでき、メール管理、問い合わせ、プロジェクト管理、カスタマーサポート、カレ ンダーと会議、経費処理を対話的におこなえる ツールと⾏動の選定 Gmailのドラフト保存 初期設定 https://zapier.com/blog/zapier-central-guide/
26. Octoverse：AIコンパニオン • アプリ内でユーザーのタスクを理解して完了する AI コンパニオンを開発 • 関数呼び出しではGPT-4oより4 倍⾼速、10 倍安価なモデルを開発 • ショッピング、ビデオ会議、旅⾏予約のAIエージェントのデモ動画あり • デモが従来のユーザー体験と⽐較している。今後のユーザー体験のイメージがわかりやすい https://www.nexa4ai.com/ 旅⾏予約で従来のカレンダーを選んでいる間に⾳声指⽰を出し終了 ECで5星評価のレビューを探す場合 画⾯スクロールしている間に⾳声指⽰を出し終了
28. プロダクト/ニュース 5⽉20⽇配信 リリース情報 ・GPT-4o のマルチメディア対応の進化 ・ChatGPT データ分析の改善 ・ChatGPTデスクトップアプリでワークフローを合理化 ・Google I/O ・様々なGoogleアプリにエージェントが搭載 ・Atlassian Rovo/チームメイト型エージェント ・Integrating LangChain with Azure Container Apps dynamic sessions 技術記事 ・モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 ・製造業での⽣成AI活⽤術：⾃社製品を理解した基盤モデルと検索を組み合わせた⽤途探索 ・⼩売業への⽣成AIエージェントの応⽤ ・SaaS Is Readying for an Agentic Future ・Multi AI Agent Systems with crewAI ・AIガジェット「rabbit r1」を使ってみた
29. GPT-4o のマルチメディア対応の進化 • テキスト⾔語インターフェースから⾳声とビデオのインターフェースへ • GPT4シリーズでは、GPT-4oからメディアをテキストに変換せず、直接ベクトル化して学習している • そのため、速度の向上とコストの削減を実現した • テキストを介在しないため、⾳調、複数の話者、背景雑⾳、感情を区別できるようになる • アプリのデモでは、GPT-4oが喋っている途中で介⼊できる • アプリのデモでは、タブレットやスマホで画⾯共有しながらGPT-4oと会話している • ⽇本語トークナイザーも1.4倍改善した https://openai.com/index/hello-gpt-4o/ 数学講師 同時通訳 スマホカメラから会話
30. GPT-4o のマルチメディア対応の進化 • 驚いたデモ（数々のAI技術が統合されている） 空間配置を理解 ⾳声の話者特定と その内容も個別理解 45分の動画の要約 3Dオブジェクトの⽣成 インタラクティブ編集 https://openai.com/index/hello-gpt-4o/
31. ChatGPT データ分析の改善 • データ分析は、PythonコードをChatGPTが⽣成し、実⾏環境で実⾏することで実現している • UIから表やグラフを操作しながら、対話的に表やグラフを修正でき、全体的にインタラクションが良くなった • テーブルから図表を作成し、インタラクティブに編集できるようになった • Google ドライブおよび Microsoft OneDrive からファイルを直接追加できるようになった https://openai.com/index/improvements-to-data-analysis-in-chatgpt/
32. ChatGPTデスクトップアプリでワークフローを合理化 • キーボードショートカットでChatGPTにすぐ質問ができる • 画⾯共有や⾳声会話もそのうちリリースされる ショートカットキーでコードを ChatGPTに送信しつつ⾳声で指⽰ 画⾯を⾒ながらコードレビュー Live demo of GPT-4o coding assistant and desktop app
33. Google I/O • AI Overview • 検索体験が「Search Generative Experience」から進化し、要望に直接応える時代になる • AI Overviewが要望をもとに必要な情報を調べ、要望に応える形で検索結果を⽤いながら回答する • 動画と⾳声で検索 • AIがカメラから外界を認識し、⾳声で質問をすることでサイトを検索できる • Project Astra • 動画と⾳声をもとにAIと会話ができる • OpenAIも同じユーザー体験を⽰していたので、今後のスタンダードになるのでしょう • Gemini Flash • Gemini Proよりは軽量で、スピードとコスト効率を重視したモデル • 1時間の動画、11時間の⾳声、3万⾏のコードに対応 • 128kのプロンプト以下でInputが1Mトークンあたり$0.35、outputが$0.53 https://io.google/2024/intl/ja/ https://deepmind.google/technologies/gemini/flash/ https://cloud.google.com/vertex-ai/generative-ai/pricing
34. 様々なGoogleアプリにエージェントが搭載 Google I/Oで発表されたエージェントとデモ • メールエージェント • 受信トレイ内のすべての領収書をスプレッドシートに継続的に整理する • 複数の会話やファイルを整理して質問に答える • 注⽂を返品する • 検索エージェント • 多段階の推論により旅⾏計画をおこなう • 1週間の⾷事計画をおこなう • ブラウザエージェント • 複数の外部ウェブサイトで動作し、数⼗のウェブサイトで住所を⼀括更新するなどのタスクを実⾏する • 共同作業者 • Google Workplaceで対話的に共同作業ができる https://io.google/2024/intl/ja/
35. Atlassian Rovo/チームメイト型エージェント • Atlassian Rovoは、情報を即座にアクションに変えるのに役⽴つ製品で、分散された情報の検索、学習、およ びそれに基づいた⾏動が迅速化 • JiraやConfluenceだけでなく、Sharepoint、Microsoft Teams、GitHub、Slack、Figma、APIを通して社内の 独⾃サービスとも連携できる • UIが良くなり、チームメイト型のエージェントとしている https://www.atlassian.com/blog/announcements/introducing-atlassian-rovo-ai
36. Integrating LangChain with Azure Container Apps dynamic sessions • Azure Container Apps の動的セッション • 動的セッションは、LLM が⽣成したコードをサンドボックス内で安全に実⾏できるようにする Azure Container Apps の新機能 • ⾼速起動ができ、数百または数千のセッションを同時に実⾏できる。 • ファイルをセッションにアップロードして、コードからファイルを参照できる。 • セッションにはNumpy, など⼈気のパッケージがインストールされており、追加もできる。 LangChainの発表ブログ Integrating LangChain with Azure Container Apps dynamic sessions LangChainでの実装⽅法 Azure Container Apps dynamic sessions MS Learn Serverless code interpreter sessions in Azure Container Apps (preview)
37. モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 • Andrew Ng 先⽣の考察記事 モデルが向上した能⼒ • 複雑な概念を考え抜き、複雑な指⽰に従う推論能⼒ • ⻑い⼊⼒コンテキストウィンドウ • GPT-4oは128,000トークン、Claude 3 Opusは200,000トークン、Gemini 1.5 Proは200万トークン 複雑なワークフローを構築する際、以下のプロセスで良い結果が得られる 1. クイックでシンプルなプロンプトを書いて試す 2. プロンプトを段階的に詳細化する（⻑く詳細なメガプロンプトになる） 3. Few Shot またはMany Shot 学習やファインチューニングを検討する 4. タスクをサブタスクに分解し、エージェンティックワークフローを適⽤する https://www.deeplearning.ai/the-batch/issue-249/
38. 製造業での⽣成AI活⽤術：⾃社製品を理解した基盤モデルと検索を組み 合わせた⽤途探索 • AWSの⽣成AI事例ブログ • 化学、素材や製薬の事業では⾃社製品の新しい⽤途の発⾒が新規市場の開拓に⽋かせない • 膨⼤な情報から⾃社製品に適合する市場を発⾒し育てるのは容易ではない • 新規⽤途の発⾒に、LLMを社内情報と外部情報を組み合わせでRAGや微調整で実現する • 内部情報：会社固有の辞書、社内の⽂書や特許、論⽂ • 外部情報：SNS、ニュース、特許 https://aws.amazon.com/jp/blogs/news/generative-ai-for-manufacturing-application-search/
39. ⼩売業への⽣成AIエージェントの応⽤ • Cohereのブログで⼩売業に対するエージェントの活⽤案を解説 カスタマーサービス • 「注⽂したものはどこにありますか?」の問い合わせに対し、AI エージェントは、注⽂番号から注⽂管理シス テムのステータスを確認できるだけでなく、予期せぬ遅延が発⽣した場合に問題を解決することもできます。 マーケティングと販売 • ⼩売業は、CRM、電⼦商取引、コンテンツ管理、電⼦メール マーケティング システムに任意の⾔語で接続で きるグローバル AI エージェントを導⼊して、顧客の好みを理解し、それに応じてマーケティング コミュニ ケーションを調整します。 物流と流通 • AIエージェントが在庫管理システムをチェックし、リアルタイムの在庫情報を提供することで、適切なタイミ ングで製品を確保することができます。また、天候などの要因によるサプライチェーンの影響を予測し、対応 策を講じることも可能です。 従業員体験 • AI エージェントを使⽤することで、従業員はより簡単に休暇を申請できるようになります。同様に、管理者は、 扱いにくい内部システムを操作することなく、⼈員配置スケジュールにすばやくアクセスしたり、変更要求を 承認したりできます。 https://cohere.com/blog/game-on-retailers-elevate-your-customer-experience-with-genai 5⽉ 17, 2024
40. SaaS Is Readying for an Agentic Future • SaaS リーダーは単純な効率化を超えて、複雑なワークフローをナビゲートできる、⾃律的な意思決定機能（AI エージェント）の開発に取り組んでいる • 第⼀波は、パーソナルAIアシスタント、ナレッジマネジメントアシスタント、コンテンツ⽣成だった • AI エージェントは、CRM、SCM、ERPシステムの全体から洞察を統合し、より包括的で⾃律的な対応とソ リューションを提供できる SaaS の潜在的なAIエージェントの使⽤例には次のようなものがあります。 ⽀払いアプリケーション • ⼩売業者が顧客満⾜度、ロイヤリティ、在庫レベルに基づいてリアルタイムで対象顧客の割引を提供し、標準 注⽂数量の変更を必要なサプライヤーに⾃動的に通知できる 調達管理ソリューション • CRM、在庫、注⽂管理システムと⾃動的に連携して、プロジェクト マネージャーがプロジェクトの実⾏に必要 な資材を確実に⼊⼿できるようにしたり、遅延の可能性をチームに警告したりできる コンテンツ管理システム • BI ツール、CRM、ソーシャル メディア アカウント、電⼦メール マーケティング システムと連携して、承認さ れたマーケティング コンテンツをチャネル全体にシームレスにパーソナライズして配信できる https://cohere.com/blog/saas-is-readying-for-an-agentic-future 2024 年 4 ⽉ 26 ⽇
41. Multi AI Agent Systems with crewAI • DeepLearning.AIの講義動画にcrewAIライブラリを使ったマルチエージェントシステムが追加 • 学習コンテンツには、⼀般的なビジネスプロセスを⽀援する複数のマルチエージェント システム の設計や、AI エージェント システムの主要な原則が含まれる crewAIのマルチエージェントシステムの要素 講義で扱うビジネスプロセス https://www.deeplearning.ai/short-courses/multi-ai-agent-systems-with-crewai/
42. AIガジェット「rabbit r1」を使ってみた • Rabbit r1のレビュー記事 • Rabbit r1の質問例：「123 ABC StreetまでのUberを予約してほしい」「Via Ponteでラージサイズ のウォッカピザを注⽂してほしい」「Benson Booneの最新アルバムを再⽣してほしい」など • r1で動作するアプリは、DoorDash、Spotify、Midjourney、Uber • 得意なこと • 複雑な質問に迅速に答えること • 「昨⽇の夜に⾏われたCelticsとHeatの試合は、どちらが勝ったのか。最も多く得点したのは誰か。フィールドゴー ルの成功率は何％だったのか」 • 1回⽬は失敗したけど、2回⽬で成功 • 画像から質問応答 • 回転する800万画素カメラでユーザーの周囲（とユーザー⾃⾝）を撮影し、質問に答える • 周囲の建物を教えてれたり、⾷事の⼤まかなカロリー計算をする • 不得意なこと • r1はバッテリー持続時間に問題がある（1回の充電で約3時間しか使⽤できなかった） • サードパーティサービスでエラーメッセージや失敗が多く安定しない https://japan.zdnet.com/article/35218574/
44. プロダクト/ニュース 5⽉13⽇配信 製品の市場調査 • AI Agents are disrupting automation：⾃動化の市場調査 • How to get AI ʻagentsʼ working like humans • 新たな AI AgentOps の展望 • AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • Largest library of AI-UX Interactions 技術記事 • Agents for Amazon Bedrock: Handling return of control in code • Generative AIが製品設計に与える影響とその調整 • The Agentic Era of UX リリース情報 • Assistants API 画像理解対応 • OpenAI Model Spec公開 海外ベンチャー企業 • Assista/単⼀のアプリからビジネス管理 • Fin AI Copilot/パーソナル AI アシスタント
45. AI Agents are disrupting automation：⾃動化の市場調査 • ビジネスプロセスやタスク⾃動化のためのアーキテクチャが⼿動から徐々に⾃動化に進んでいる https://www.insightpartners.com/ideas/ai-agents-disrupting-automation/
46. AI Agents are disrupting automation：⾃動化の市場調査 ロボティック・プロセス・オートメーション（RPA） • ⼿動の反復作業を⾃動化するためのプラットフォーム • 使⽤例: データ⼊⼒、請求書処理、顧客サポートなどのタスク iPaaS • データ、アプリケーションソース、APIを統合するためのミドルウェア層 • 使⽤例: 異なるシステム間でのデータの同期と統合 ローコード・タスク⾃動化プラットフォーム • シンプルなUIで反復タスクを⾃動化するプラットフォーム • 使⽤例: APIを通じてアプリ間のデータフローを⾃動化 垂直型⾃動化アプローチ • 特定のワークフローに焦点を当てたアプローチ • 使⽤例: サプライチェーン管理、ITサービスマネジメント（ITSM）、カスタマーサポートチャットボット
47. AI Agents are disrupting automation：⾃動化の市場調査 エージェント⾃動化フレームワーク/Copilots/GPTs and Agents コパイロット • 既存のアプリケーションやプラットフォームに統合された⽣成AIベースのインターフェース • 使⽤例：タスクの提案、コンテンツ⽣成、ユーザーフローの⽀援 エージェント • LLMの能⼒とコードとデータ、UIをを組み合わせてワークフローを実⾏する複合的なシステム • 使⽤例：コード⽣成、データ抽出、タスクの計画と実⾏ ノーコード エージェント/GPTs • コーディングの知識がなくても簡単にタスクエージェントを作成できるプラットフォーム • 使⽤例：簡単なタスクの⾃動化、特定のデータ抽出、簡単なレポート⽣成など
48. • j https://www.insightpartners.com/ideas/ai-agents-disrupting-automation/ Co-Pilots エージェント⾃動化 RPA 垂直型⾃動化 Agents https://www.insightpartners.com/ideas/ai-agents-disrupting-automation/
49. How to get AI ʻagentsʼ working like humans • AI エージェントとそのプラットフォームを構築している 94 社を分析 • 職場の⽣産性などの⼀般的なタスクに焦点を当てたエージェント • 特定の仕事を実⾏する機能固有のエージェント • 特定の職業全体にわたるさまざまなタスクを⾃動化することを⽬的とした業界固有のエージェント リンク
50. 新たな AI AgentOps の展望 • AgentOps（エージェントオペレーションズ） AIエージェントの構築とスケーラビリティを⽀援するための⼀ 連のツールとプロセス https://www.venturesperspectives.com/the-emerging-ai-agentops-landscape-a-builders-perspective/
51. AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • 職場のAI利⽤者は時間の節約、重要な業務への集中、創造性の向上、仕事の楽しさ向上を感じている。 • 多くのリーダーは AI の必要性に同意するが、ROI を⽰す重圧により、リーダーの動きが鈍くなっている。 • 仕事で AI を使⽤する52%は、最も重要なタスクに AI を使⽤していることを認めたがらない。重要な仕事で AI を使⽤すると、仕事がAIで代替可能に⾒えるのではないかと懸念している（機会の損失） • 電⼦メールの過負荷は依然として続いている。電⼦メールの85%は 15 秒以内に読まれ、⼀般的な⼈は1 通の電 ⼦メールを送信するごとに約4 通の電⼦メールを読まなければならない。Microsoft 365 アプリでは、ユーザー は時間の60%を電⼦メール、チャット、会議に費やし、その他の時間はわずか40 %です。（改善の余地） • 今後 5 年以内に、AIに⾮常に詳しいリーダーの41%が AI を使⽤してビジ ネスプロセスを根本から再設計すると予想する。 • AIのヘビーユーザーは、タスクの前に頻繁にAI が役⽴つかどうか⾃問す る傾向が⾼く 、最初に完璧な回答が得られなかった場合でも試し続け、 新しいプロンプトを調査して試す。彼らはすでに個別のタスクを超えて、 AI を使⽤してビジネスプロセスとワークフローを再設計する可能性が⾼ い（ビジネスプロセスの変⾰の始まり） • リーダーは、従業員の AI に対する熱意をビジネス変⾰に向けることが重 要。ビジネス上の問題を特定しAI を適⽤する。トップダウン、ボトム アップのアプローチをとる。AIスキルのトレーニングを優先する。 https://www.microsoft.com/en-us/worklab/work-trend-index/ai-at-work-is-here-now-comes-the-hard-part/
52. Largest library of AI-UX Interactions https://aiverse.design/browse • 様々なAI製品のUXをショート動画で⾒れる
53. Agents for Amazon Bedrock: Handling return of control in code • 以前紹介した Agents for Amazon Bedrock のReturn of control 機能に関する実装紹介ブログ • ブログでは、顧客がシステムにログインできない問題に対して、エージェントがCRMから顧客情報 を取得し、システムのログインステータスを確認後、メールの返信案を⽣成してます。CRMには外 部APIが⽤意されています。 • Return of control を使⽤すると、既存のアプリケーションから直接APIを呼び出せます。新たに Lambda関数を構築し、認証やネットワーク設定を⾏う必要がないため、既存のインフラに簡単に 統合できます。 CRMから顧客情報の取得 ログインできるか検証 https://community.aws/content/2g8NsQl8CvJhxQ0635HKkg6hMga/agents-for-amazon-bedrock-handling-return-of-control-in-code
54. Generative AIが製品設計に与える影響とその調整 • GoogleのPeople + AI Research（PAIR）の4⽉27⽇の記事 • Generative AIの進化に伴い、UXデザインはユーザーのメンタルモデルを考慮し、AIを「コラボレー ター」として位置づけ、ユーザーの期待を適切に調整する必要がある • メンタルモデルとは、ユーザーが製品や技術の動作を理解するために⼼の中で形成する認識の枠組み 実践的なアプローチ • AIがユーザーの意図を理解し、⾏動許可を⼈間に求めることで、ユーザーとの信頼関係を築く • AIシステムを使ったコード⾃動⽣成のような新しい⽂脈で、ユーザーのメンタルモデルを更新するサポー トが必要 • ユーザーの経験レベルに応じた説明やインタラクションを提供し、AIに対する理解と信頼を深める https://medium.com/people-ai-research/generative-ai-is-reshaping-our-mental-models-of- how-products-work-product-teams-must-adjust-953127660dff
55. The Agentic Era of UX Agentic UX • 分析・意思決定の認知、視覚化やメディア作成の創造、ワークフローの運⽤に重点を置く • 従来はユーザー操作をサポートする⾜場を提供していたが、今後は継続的な⽀援をするパートナー基準の 体験を提供する 良い例 • ビデオ録画ソリューションである Loomがユーザーのジャーニー全体を考慮した良い例 • Loomは、ユーザーのワークフロー全体をサポートし、ビデオの録画から、⾃動的に⽂字起こし、編集し、 Jira チケットを切るまでの機能を提供します。このエンドツーエンドの視点は今⽇の AI UX に⽋けている。 UXを考えるために 1. ユーザージャーニーをすべて⾒直してください 2. ジャーニーの各段階で、ユーザーの認知、オペレーション、創造的な負担、またはユーザーが最も孤独に なるポイントを調べます 3. ジャーニーの各ステップで、AI エージェントの独⾃の機能を適⽤してユーザーのタスクをサポートする⽅ 法を検討します。 https://uxdesign.cc/the-agentic-era-of-ux-4b58634e410b
56. Assistants API 画像理解対応 • アシスタント API が画像をサポート • 画像 URL またはアップロードされたファイルを使⽤してメッセージを送ると、アシスタントは会 話のコンテキストの⼀部として画像を使⽤します。 • サポートされている画像形式は、png、jpg、gif、webp • 現在、組織ごとに 100 GB、組織内のユーザーに対して 10 GB の制限 • 現在、 Code Interpreter では画像 URL をダウンロードできません • Code Interpreterに画像ファイルを渡すには、メッセージの添付ファイルリストにファイルIDを追加 https://platform.openai.com/docs/assistants/how-it-works
57. OpenAI Model Spec • 研究者やデータラベラーが、RLHFの⼀環としてデータを作成する際のガイドラインとして使⽤する • ⼀部は OpenAIでRLHFに使⽤したドキュメントに基づく部分もある • ガイドラインには、定義、⽬的、ルール、デフォルトの４つが記述される 定義 アシスタント：エンドユーザーまたは開発者が対話するエンティティ 会話：モデルへの有効な⼊⼒は会話であり、メッセージのリストで構成されます メッセージには次のフィールドが含まれる • role（必須）："platform", "developer", "user", "assistant", or "tool” のいずれか • recipient（オプション）： メッセージの処理⽅法を制御。関数呼び出し （recipient=functions.fooJSON） 、⼀般的なツール (recipient=browser) • content（必須）： テキストまたはマルチモーダル (画像など) データ • settings（オプション）：モデルの設定を更新する、プラットフォームまたは開発者メッセージ専⽤の⼀ 連のキーと値のペア • end_turn（必須）：アシスタント メッセージ専⽤のブール値。アシスタントがアクションの実⾏を停⽌ して制御をアプリケーションに戻すかどうか https://cdn.openai.com/spec/model-spec-2024-05-08.html
58. OpenAI Model Spec ⽬的 • 開発者とエンドユーザーを⽀援する • ⼈類に利益をもたらす • OpenAIを振り返る ルール • 役割の権限が強い順に指⽰に従う Platform > Developer > User > Tool • 違法⾏為を促進、関与しない • 化学的、⽣物学的、核の脅威など危険な情報を提供しない • クリエイターとその権利（知的財産権など）を尊重する • ⼈々のプライバシー（個⼈の連絡先、従業員情報など）を保護する • NSFW コンテンツに応答しない https://cdn.openai.com/spec/model-spec-2024-05-08.html
59. OpenAI Model Spec デフォルト • ユーザーまたは開発者の最善の意図を想定する • 必要に応じて明確な質問をする • ⾏き過ぎずにできる限り協⼒する • ⼈間との会話とシステム内のメッセージのやり取りを区別し動作する • 客観的な視点を持つ • 公平性と優しさを奨励し、憎悪を阻⽌する • ⼈の考えを変えようと説得しない • 不確実性を表現するか回答を拒否する • 業務に適したツールを使⽤する • ⻑さの制限を守りながら、必要に応じて⻑い回答と短い回答をする https://cdn.openai.com/spec/model-spec-2024-05-08.html
60. Fin AI Copilot/パーソナル AI アシスタント Intercom のFin AI Copilot は、すべてのカスタマーサポート職員向けパーソナル AI アシスタント AI機能のある受信箱、電話、チケット管理、アシスタントとの会話相談機能があるプラットフォーム 特徴 研修、トラブルシューティング、ガイダンスに役⽴つ 過去の会話履歴から最良の回答をする あらゆるコンテンツと連携する 深い洞察、利⽤の監視を⾏える 動画：https://www.youtube.com/watch?v=XYK2VI_MbSk https://www.intercom.com/support-for-agents/ai-copilot 動画では素早く⽚付けられることを通知量で表していた チケット対応の裏でFinアシスタントが⽀援
61. Assista/単一のアプリからビジネス管理 クリック、⼿動更新、アプリ間の往復、反復的なタスクに費やされる時間を削減するアプリ タスクの⾃動化 • 単⼀の⾳声またはテキスト コマンドで複数のアプリのタスクを実⾏する。 知識ベース • 全てのアプリに渡って、パーソナライズされた知識豊富なコマンド センターを備えます。 AI を活⽤した洞察 • AI を活⽤して、アプリのデータから実⽤的な洞察を迅速に抽出して分析します。 https://www.assista.us/#integrations
63. プロダクト/ニュース 5⽉6⽇配信 ニュース • ChatGPT Plusの全ユーザーにメモリ機能搭載 • AIデバイス「rabbit r1」が正式発売 • LangSmith is now in Azure Marketplace • What is an Enterprise AI Agent? 海外ベンチャー企業 • Magical AI/RPA ブラウザ拡張機能 • Bardeen /RPA ブラウザ拡張機能 • ELEVENTH AI /RPAワークフロー⾃動化 • Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • Graft Intelligence Layer/チームメイトAI • Kin /メモリに基づくパーソナライズAI • Sema4.ai/エンタープライズ向けGPTs
64. ChatGPT Plusの全ユーザーにメモリ機能搭載 ChatGPTの設定 メモリに記録されている メモリを使えている メモリをクリアすると答えられない • ChatGPTに記憶管理機能が搭載された。メモリの⽤途は先週の紹介論⽂を参照してください https://openai.com/blog/memory-and-new-controls-for-chatgpt
65. AIデバイス「rabbit r1」が正式発売 • rabbit r1の発売イベントが、4⽉24⽇（⽶国時間）に開かれた • 最もシンプルなコンピューターをつくることがビジョン • rabbitの狙いは、まずはデバイスに話しかけてもらい、その後にコンピューターで処理すること • デモでは、rabbit r1のカメラで紙のテーブルデータの写真を撮り、⾳声で２列を⼊れ替えてたもの を⾃分宛にメールで送るように依頼し、成功した https://wired.jp/article/rabbit-r1-launch-event-nyc/
66. LangSmith is now in Azure Marketplace • LangSmithが Azure Marketplace で利⽤可能になった • Azure Kubernetes アプリケーションとしてLangSmithを購⼊できる • LangSmithは、LLM アプリケーションの開発、テスト、監視を⾏うための統合 DevOps プラット フォーム https://blog.langchain.dev/announcing-langsmith-is-now-a-transactable-offering-in-the-azure-marketplace/
67. What is an Enterprise AI Agent? • Sema4-aiのエンタープライズ向けAIエージェントブログ • エージェントの⾃動化範囲の拡⼤がタスク⾃動化、プロセス⾃動化と分かりやすい • ⾃然⾔語での指⽰の粒度が徐々に⼿先の動作レベルから業務フローレベルに⾼度化されていく https://medium.com/sema4-ai/what-is-an-enterprise-ai-agent-feae89d784ef
68. Magical AI/RPA ブラウザ拡張機能 • 私たちの仕事の多くが異なるウェブサイトやアプリ間で情報を移動させていることが多い • Magical AIブラウザ拡張機能を使えば、繰り返し作業を⼤幅にスピードアップ • Automate tasks like typing repetitive messages, and updating databases. 営業 • どこにでもメッセージを素早く⾃動送信、CRMなど管理タスクの⾃動⼊⼒ サポート • チケット番号や顧客名を含む下書きを⾃動作成、タブ間の⾯倒なコピペを排除、顧客との⼀般的な会話をテンプレ登録 ヘルスケア • 患者のカルテを作成、異なるツール間で利⽤できるテンプレ登録、2 回のクリックで処⽅箋を作成 採⽤ • フォローアップメッセージを⾃動送信、Web サイトから候補データを⾃動収集、スプレッドシートに分類 教育/運⽤/個⼈ • フォームの⾃動記⼊、繰り返し業務の⾃動化、サイト間のデータ移動 https://www.getmagical.com/
69. Bardeen/RPA ブラウザ拡張機能 • Chromeの拡張機能で利⽤できる作業⾃動化ソリューション • ChatGPT、スプレッドシート、その他の Web アプリを使⽤して⾃動化 • スクレイピング、エクスポート、抽出、メール作成、要約など • ⾃然⾔語でワークフローの作成が可能 https://www.bardeen.ai/
70. ELEVENTH AI/RPAワークフロー⾃動化 • コンサルティング、AIエージェントのチャットボットの開発、ワークフローの⾃動化を提供する会社 • RPAから難易度が上がればエージェントのチャットボットに拡張する流れを作っているようにも⾒える • ⾃動化ワークフローはmakeとzapierのサービスを使っていそう https://www.eleventh.ai/
71. Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • オンボーディング⽤エージェントをブラウザ拡張機能で提供 • Jira, confluence, Notion, Slack, Githubなど • 独⾃サービスもAPIがあればオンボーディング⽀援ができそう チャットでタスクを依頼 使い⽅が分からなくても助けてくれる 様々なソフトウェアで⽀援! https://www.youtube.com/watch?v=YIVvXvLv_ak
72. Graft Intelligence Layer/チームメイトAI • AIチームメイトを提供する会社 • Graft Intelligence Layer は、企業の知識と専⾨知識を統合して、企業運営を合理化 https://www.graft.com/blog/embracing-ai-teammates
73. Kin/メモリに基づくパーソナライズAI • プライベートな⽣活のためのパーソナライズAIの提供 • メモリを念頭におき、会話をするたびに好みなどを学習する • 推しポイント：会話、⽂脈記憶、パーソナライズされたリマインダー、データとプライバシー保護 https://mykin.ai/ あなたのKinは、忍耐強く、思 いやりがあり、知識が豊富で、 年中無休で対応
74. Sema4.ai/エンタープライズ向けGPTs https://sema4.ai • エンタープライズ向けエージェント構築ソリューション • カスタムActionはpythonで定義する必要がある