$30 off During Our Annual Pro Sale. View Details »

Weekly AI Agents News! 5月号 プロダクト/ニュースのアーカイブ

Weekly AI Agents News! 5月号 プロダクト/ニュースのアーカイブ

毎週更新予定のWeekly AI Agents News! の過去のアーカイブです。
https://speakerdeck.com/masatoto/weekly-ai-agents-news

masatoto

May 31, 2024
Tweet

More Decks by masatoto

Other Decks in Research

Transcript

  1. プロダクト/ニュース 5⽉27⽇配信 MS Build • Microsoft Copilot Studio: エージェント機能を備えたコパイロット •

    Microsoft Copilot StudioのCopilot利⽤分析機能 • Copilot Connectors:さまざまなサービスやデータソースと接続しAIが理解 • Copilot Extensions:Copilotをカスタマイズ • Microsoft Copilot StudioからCustom Copilotの作成 • Microsoft Copilot Studio:今後の機能 • Azure AI StudioからCustom Copilotsの作成 • Azure OpenAI の Assistants API v2 (プレビュー)が公開 • Power Automateのプロセス作成を⾃然⾔語、画⾯共有や⾳声指⽰で⾃動作成 ブログ • The Guide to AI Agents /LLMエージェントの基本的事項がわかるコラム • Key Guidelines for Writing Instructions for Custom GPTs • AgentHub が名前を Gumloop に変更 ベンチャー企業 • MILIZEが「MILIZE Financial AGENT」を発表 • Perplexity からInteractive Knowledge Cards機能がリリース • Zapier Central: AI ボットにお気に⼊りのアプリ間で動作するように教える • Octoverse:AIコンパニオン
  2. プロダクト/ニュース 5⽉20⽇配信 リリース情報 ・GPT-4o のマルチメディア対応の進化 ・ChatGPT データ分析の改善 ・ChatGPTデスクトップアプリでワークフローを合理化 ・Google I/O

    ・様々なGoogleアプリにエージェントが搭載 ・Atlassian Rovo/チームメイト型エージェント ・Integrating LangChain with Azure Container Apps dynamic sessions 技術記事 ・モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 ・製造業での⽣成AI活⽤術:⾃社製品を理解した基盤モデルと検索を組み合わせた⽤途探索 ・⼩売業への⽣成AIエージェントの応⽤ ・SaaS Is Readying for an Agentic Future ・Multi AI Agent Systems with crewAI ・AIガジェット「rabbit r1」を使ってみた
  3. プロダクト/ニュース 5⽉13⽇配信 製品の市場調査 • AI Agents are disrupting automation:⾃動化の市場調査 •

    How to get AI ʻagentsʼ working like humans • 新たな AI AgentOps の展望 • AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • Largest library of AI-UX Interactions 技術記事 • Agents for Amazon Bedrock: Handling return of control in code • Generative AIが製品設計に与える影響とその調整 • The Agentic Era of UX リリース情報 • Assistants API 画像理解対応 • OpenAI Model Spec公開 海外ベンチャー企業 • Assista/単⼀のアプリからビジネス管理 • Fin AI Copilot/パーソナル AI アシスタント
  4. プロダクト/ニュース 5⽉6⽇配信 ニュース • ChatGPT Plusの全ユーザーにメモリ機能搭載 • AIデバイス「rabbit r1」が正式発売 •

    LangSmith is now in Azure Marketplace • What is an Enterprise AI Agent? 海外ベンチャー企業 • Magical AI/RPA ブラウザ拡張機能 • Bardeen /RPA ブラウザ拡張機能 • ELEVENTH AI /RPAワークフロー⾃動化 • Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • Graft Intelligence Layer/チームメイトAI • Kin /メモリに基づくパーソナライズAI • Sema4.ai/エンタープライズ向けGPTs
  5. プロダクト/ニュース 5⽉27⽇配信 MS Build • Microsoft Copilot Studio: エージェント機能を備えたコパイロット •

    Microsoft Copilot StudioのCopilot利⽤分析機能 • Copilot Connectors:さまざまなサービスやデータソースと接続しAIが理解 • Copilot Extensions:Copilotをカスタマイズ • Microsoft Copilot StudioからCustom Copilotの作成 • Microsoft Copilot Studio:今後の機能 • Azure AI StudioからCustom Copilotsの作成 • Azure OpenAI の Assistants API v2 (プレビュー)が公開 • Power Automateのプロセス作成を⾃然⾔語、画⾯共有や⾳声指⽰で⾃動作成 ブログ • The Guide to AI Agents /LLMエージェントの基本的事項がわかるコラム • Key Guidelines for Writing Instructions for Custom GPTs • AgentHub が名前を Gumloop に変更 ベンチャー企業 • MILIZEが「MILIZE Financial AGENT」を発表 • Perplexity からInteractive Knowledge Cards機能がリリース • Zapier Central: AI ボットにお気に⼊りのアプリ間で動作するように教える • Octoverse:AIコンパニオン
  6. Microsoft Copilot Studio: エージェント機能を備えたコパイロット • Microsoft Copilot StudioにGPTsのようなエージェント機能を搭載 • Template:Instructions,

    Triggers, Knowledgeが⾃動選択(おそらくActionsも) • Goal:エージェントの⽬的、Instructions:エージェントの役割 • Triggers:エージェントの起動、Knowledge:参照するソース、Actions:APIやフローの利⽤ • Topics: ローコードで作るハンドメイドワークフロー • 従業員が⼿動で⾏う⼀連のタスクを⾃動化できる • Copilot は、ユーザーと⼀緒に作業する Copilot から、ユーザーのために作業する Copilot へと進化 https://microsoftcopilotstudio.microsoft.com/en-us/blog/microsoft-copilot-studio-building-copilots-with-agent-capabilities/ Full Keynote: Satya Nadella at Microsoft Build 2024
  7. Copilot Connectors:様々なサービスやデータソースと接続しAIが理解 • ⾃社のビジネスシステムやアプリのデータに Copilot を接続できる • パブリック Web サイト、SharePoint、OneDrive、Microsoft

    Dataverse テーブル、Microsoft Fabric OneLake (今年中にリリース予定)、Microsoft Graph、主要なサード パーティ アプリなど • (ただ、繋げられると活⽤できるは天と地の差があり、どこまでうまくできるのか) https://powerapps.microsoft.com/en-us/blog/unlock-new-levels-of-productivity-with-microsoft-dataverse-and-microsoft-copilot-studio/
  8. Azure AI StudioからCustom Copilot(Assistant)の作成 Azure AI Studio - Creating and

    scaling your custom copilots https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/assistant • Microsoft Copilot Studioで作るより開発者寄りで簡素化されている • OpenAIのAssistants APIにGUIがついたもの • ツール:Code Interpreter, File Search, Function Calling, Browse
  9. Azure OpenAI の Assistants API v2 (プレビュー)が公開 Build sophisticated custom

    copilots with Azure OpenAI Assistants | BRK101 https://learn.microsoft.com/ja-jp/azure/ai-services/openai/whats-new • ファイル検索とストリーミング対応 • Bing Searchもtoolに追加予定、Bring your own Dataのインデックスも連携予定 ツールが充実!!
  10. Power Automateのプロセス作成をテキストや画面・音声指示で自動作成 • Power Automateは、異なるアプリをまたぐワークフローを⾃動化するサービス • ⼈⼿でワークフローを作成し管理していたが、ユーザー体験は“show and tell” 時代にステップアップ

    • 画⾯共有と⾳声指⽰(テキスト指⽰も可)でワークフローを⾃動作成 • (正常系のみ指⽰をすると異常系を⾃分でワークフローを修正するのかな) • (⾳声指⽰は聞き取り締切の無⾔の圧⼒があるから、説明失敗しそう) https://powerautomate.microsoft.com/ja-jp/blog/revolutionize-the-way-you-work-with-automation-and-ai/ メールにある請求書から情報を別の場所に転記するよう指⽰ ワークフローを⾃動⽣成し⼈間が修正する
  11. The Guide to AI Agents • AIエージェントは、従来のソフトウェアと異なり、タスクを⾃動的に実⾏するシステムです。 • アプリケーションは作業を⽀援しますが、エージェントは作業を完了させます。 •

    エージェントは、個⼈のアシスタント、企業内のタスク管理、顧客対応など、様々な⽤途で利⽤されます。 • LLM の⾃然⾔語理解、⾔語⽣成、推論により、初めて⾼度な AI エージェントの構築が可能になりました。 https://sierra.ai/news/ai-agents-guide
  12. Key Guidelines for Writing Instructions for Custom GPTs • GPTsの指⽰の書き⽅と道具と⾏動の準備のガイドライン

    Enhancing Instructions • Simplify Complex Instructions:指⽰を分割して理解しやすく、トリガーと対応する指⽰をペアで提供 • Structure for Clarity :明確な区切りを設けて指⽰を整理する • Promote Attention to Detail :「時間をかけて、深呼吸して、作業を確認して」を使⽤し注意を促す • Avoid Negative Instructions :指⽰を否定的に表現しない • Granular Steps:タスクを細かいステップに分けて説明する • Consistency and Clarity:⽤語や分類を⼀貫して明確にする Tools and Actionsの特別な配慮 • Knowledge Files:ファイルの利⽤基準を明確に指⽰し、ファイル全体を分析するようにも指⽰する • Specificity in Prompts:具体的な例を⽤いることで指⽰を明確にする(⽇付や財務情報など) • Examples of Good Output:ナレッジとアクションの良い出⼒の具体例を⽰す • Referencing Actions:アクションは名前とドメインを参照する • Explicit Tool Use Instructions:参照、ナレッジ、カスタムアクションのツール使⽤⽅法を具体的に指⽰する https://help.openai.com/en/articles/9358033-key-guidelines-for-writing-instructions-for-custom-gpts
  13. AgentHub が名前を Gumloop に変更 • AutoGPTでは、技術的知識がないユーザー向けのセットアップの難しさや、エージェントの実⾏コストと信頼 性の問題があった • AgentHubはAutoGPTの⼈気に触発され、ユーザーがエージェントを簡単にセットアップし、共有できるプ ラットフォームを提供するために設⽴されたが、現在はユーザーがステップバイステップのパイプラインを定

    義するRPA的な要素が強いプロダクトになっている • 当初のエンジニアがエージェントの作成物を公開、ホスト、共有する場所にはなれなかった • AIに詳しくない⼈はエージェントが何なのか知らず誤解を⽣む • AgentHubがAsianHubに聞こえる • GumLoopはガムの粘着性のようにデータやアプリをつなぎ、1 つの⾃動化を 10,000 回ループできることは、 プラットフォームの中⼼的な価値と考えて付けたそう https://www.gumloop.com/blog/why_agenthub_exists?ref=blog.gumloop.com https://blog.gumloop.com/agenthub-to-gumloop/
  14. Perplexity からInteractive Knowledge Cards機能がリリース • Perplexity は 他社のTako を搭載したインタラクティブなナレッジ カードを表⽰

    • ⽐較ワードなどのフレーズ検知で信頼のあるプロバイダーから情報を取得しグラフを描画 • ⾦融、経済、政治データの範囲で、単⼀ドメイン検索 (例: 「Nvidia 株価」)、クロスドメイン検索 (例: 「Nvidia 株価 vs. バイデン⽀持率」)、時間ベースの検索 (例: 「Nvidia 株価 vs. バイデン⽀持率 (2022 年 1 ⽉ 11 ⽇以 降)」) をサポート • 注: 最初は⽶国のユーザー向けに英語で提供され、モバイル アクセスは近⽇中に開始されます。 https://trytako.com/blog/introducing-tako-and-perplexity-integration https://www.perplexity.ai/collections/Interactive-Knowledge-Cards-2FMyYxiKRfaUpOZLhO3NYw
  15. Octoverse:AIコンパニオン • アプリ内でユーザーのタスクを理解して完了する AI コンパニオンを開発 • 関数呼び出しではGPT-4oより4 倍⾼速、10 倍安価なモデルを開発 •

    ショッピング、ビデオ会議、旅⾏予約のAIエージェントのデモ動画あり • デモが従来のユーザー体験と⽐較している。今後のユーザー体験のイメージがわかりやすい https://www.nexa4ai.com/ 旅⾏予約で従来のカレンダーを選んでいる間に⾳声指⽰を出し終了 ECで5星評価のレビューを探す場合 画⾯スクロールしている間に⾳声指⽰を出し終了
  16. プロダクト/ニュース 5⽉20⽇配信 リリース情報 ・GPT-4o のマルチメディア対応の進化 ・ChatGPT データ分析の改善 ・ChatGPTデスクトップアプリでワークフローを合理化 ・Google I/O

    ・様々なGoogleアプリにエージェントが搭載 ・Atlassian Rovo/チームメイト型エージェント ・Integrating LangChain with Azure Container Apps dynamic sessions 技術記事 ・モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 ・製造業での⽣成AI活⽤術:⾃社製品を理解した基盤モデルと検索を組み合わせた⽤途探索 ・⼩売業への⽣成AIエージェントの応⽤ ・SaaS Is Readying for an Agentic Future ・Multi AI Agent Systems with crewAI ・AIガジェット「rabbit r1」を使ってみた
  17. GPT-4o のマルチメディア対応の進化 • テキスト⾔語インターフェースから⾳声とビデオのインターフェースへ • GPT4シリーズでは、GPT-4oからメディアをテキストに変換せず、直接ベクトル化して学習している • そのため、速度の向上とコストの削減を実現した • テキストを介在しないため、⾳調、複数の話者、背景雑⾳、感情を区別できるようになる

    • アプリのデモでは、GPT-4oが喋っている途中で介⼊できる • アプリのデモでは、タブレットやスマホで画⾯共有しながらGPT-4oと会話している • ⽇本語トークナイザーも1.4倍改善した https://openai.com/index/hello-gpt-4o/ 数学講師 同時通訳 スマホカメラから会話
  18. Google I/O • AI Overview • 検索体験が「Search Generative Experience」から進化し、要望に直接応える時代になる •

    AI Overviewが要望をもとに必要な情報を調べ、要望に応える形で検索結果を⽤いながら回答する • 動画と⾳声で検索 • AIがカメラから外界を認識し、⾳声で質問をすることでサイトを検索できる • Project Astra • 動画と⾳声をもとにAIと会話ができる • OpenAIも同じユーザー体験を⽰していたので、今後のスタンダードになるのでしょう • Gemini Flash • Gemini Proよりは軽量で、スピードとコスト効率を重視したモデル • 1時間の動画、11時間の⾳声、3万⾏のコードに対応 • 128kのプロンプト以下でInputが1Mトークンあたり$0.35、outputが$0.53 https://io.google/2024/intl/ja/ https://deepmind.google/technologies/gemini/flash/ https://cloud.google.com/vertex-ai/generative-ai/pricing
  19. 様々なGoogleアプリにエージェントが搭載 Google I/Oで発表されたエージェントとデモ • メールエージェント • 受信トレイ内のすべての領収書をスプレッドシートに継続的に整理する • 複数の会話やファイルを整理して質問に答える •

    注⽂を返品する • 検索エージェント • 多段階の推論により旅⾏計画をおこなう • 1週間の⾷事計画をおこなう • ブラウザエージェント • 複数の外部ウェブサイトで動作し、数⼗のウェブサイトで住所を⼀括更新するなどのタスクを実⾏する • 共同作業者 • Google Workplaceで対話的に共同作業ができる https://io.google/2024/intl/ja/
  20. Integrating LangChain with Azure Container Apps dynamic sessions • Azure

    Container Apps の動的セッション • 動的セッションは、LLM が⽣成したコードをサンドボックス内で安全に実⾏できるようにする Azure Container Apps の新機能 • ⾼速起動ができ、数百または数千のセッションを同時に実⾏できる。 • ファイルをセッションにアップロードして、コードからファイルを参照できる。 • セッションにはNumpy, など⼈気のパッケージがインストールされており、追加もできる。 LangChainの発表ブログ Integrating LangChain with Azure Container Apps dynamic sessions LangChainでの実装⽅法 Azure Container Apps dynamic sessions MS Learn Serverless code interpreter sessions in Azure Container Apps (preview)
  21. モデルの発展に伴いLLMアプリ開発者のベストプラクティスも変化 • Andrew Ng 先⽣の考察記事 モデルが向上した能⼒ • 複雑な概念を考え抜き、複雑な指⽰に従う推論能⼒ • ⻑い⼊⼒コンテキストウィンドウ

    • GPT-4oは128,000トークン、Claude 3 Opusは200,000トークン、Gemini 1.5 Proは200万トークン 複雑なワークフローを構築する際、以下のプロセスで良い結果が得られる 1. クイックでシンプルなプロンプトを書いて試す 2. プロンプトを段階的に詳細化する(⻑く詳細なメガプロンプトになる) 3. Few Shot またはMany Shot 学習やファインチューニングを検討する 4. タスクをサブタスクに分解し、エージェンティックワークフローを適⽤する https://www.deeplearning.ai/the-batch/issue-249/
  22. ⼩売業への⽣成AIエージェントの応⽤ • Cohereのブログで⼩売業に対するエージェントの活⽤案を解説 カスタマーサービス • 「注⽂したものはどこにありますか?」の問い合わせに対し、AI エージェントは、注⽂番号から注⽂管理シス テムのステータスを確認できるだけでなく、予期せぬ遅延が発⽣した場合に問題を解決することもできます。 マーケティングと販売 •

    ⼩売業は、CRM、電⼦商取引、コンテンツ管理、電⼦メール マーケティング システムに任意の⾔語で接続で きるグローバル AI エージェントを導⼊して、顧客の好みを理解し、それに応じてマーケティング コミュニ ケーションを調整します。 物流と流通 • AIエージェントが在庫管理システムをチェックし、リアルタイムの在庫情報を提供することで、適切なタイミ ングで製品を確保することができます。また、天候などの要因によるサプライチェーンの影響を予測し、対応 策を講じることも可能です。 従業員体験 • AI エージェントを使⽤することで、従業員はより簡単に休暇を申請できるようになります。同様に、管理者は、 扱いにくい内部システムを操作することなく、⼈員配置スケジュールにすばやくアクセスしたり、変更要求を 承認したりできます。 https://cohere.com/blog/game-on-retailers-elevate-your-customer-experience-with-genai 5⽉ 17, 2024
  23. SaaS Is Readying for an Agentic Future • SaaS リーダーは単純な効率化を超えて、複雑なワークフローをナビゲートできる、⾃律的な意思決定機能(AI

    エージェント)の開発に取り組んでいる • 第⼀波は、パーソナルAIアシスタント、ナレッジマネジメントアシスタント、コンテンツ⽣成だった • AI エージェントは、CRM、SCM、ERPシステムの全体から洞察を統合し、より包括的で⾃律的な対応とソ リューションを提供できる SaaS の潜在的なAIエージェントの使⽤例には次のようなものがあります。 ⽀払いアプリケーション • ⼩売業者が顧客満⾜度、ロイヤリティ、在庫レベルに基づいてリアルタイムで対象顧客の割引を提供し、標準 注⽂数量の変更を必要なサプライヤーに⾃動的に通知できる 調達管理ソリューション • CRM、在庫、注⽂管理システムと⾃動的に連携して、プロジェクト マネージャーがプロジェクトの実⾏に必要 な資材を確実に⼊⼿できるようにしたり、遅延の可能性をチームに警告したりできる コンテンツ管理システム • BI ツール、CRM、ソーシャル メディア アカウント、電⼦メール マーケティング システムと連携して、承認さ れたマーケティング コンテンツをチャネル全体にシームレスにパーソナライズして配信できる https://cohere.com/blog/saas-is-readying-for-an-agentic-future 2024 年 4 ⽉ 26 ⽇
  24. Multi AI Agent Systems with crewAI • DeepLearning.AIの講義動画にcrewAIライブラリを使ったマルチエージェントシステムが追加 • 学習コンテンツには、⼀般的なビジネスプロセスを⽀援する複数のマルチエージェント

    システム の設計や、AI エージェント システムの主要な原則が含まれる crewAIのマルチエージェントシステムの要素 講義で扱うビジネスプロセス https://www.deeplearning.ai/short-courses/multi-ai-agent-systems-with-crewai/
  25. AIガジェット「rabbit r1」を使ってみた • Rabbit r1のレビュー記事 • Rabbit r1の質問例:「123 ABC StreetまでのUberを予約してほしい」「Via

    Ponteでラージサイズ のウォッカピザを注⽂してほしい」「Benson Booneの最新アルバムを再⽣してほしい」など • r1で動作するアプリは、DoorDash、Spotify、Midjourney、Uber • 得意なこと • 複雑な質問に迅速に答えること • 「昨⽇の夜に⾏われたCelticsとHeatの試合は、どちらが勝ったのか。最も多く得点したのは誰か。フィールドゴー ルの成功率は何%だったのか」 • 1回⽬は失敗したけど、2回⽬で成功 • 画像から質問応答 • 回転する800万画素カメラでユーザーの周囲(とユーザー⾃⾝)を撮影し、質問に答える • 周囲の建物を教えてれたり、⾷事の⼤まかなカロリー計算をする • 不得意なこと • r1はバッテリー持続時間に問題がある(1回の充電で約3時間しか使⽤できなかった) • サードパーティサービスでエラーメッセージや失敗が多く安定しない https://japan.zdnet.com/article/35218574/
  26. プロダクト/ニュース 5⽉13⽇配信 製品の市場調査 • AI Agents are disrupting automation:⾃動化の市場調査 •

    How to get AI ʻagentsʼ working like humans • 新たな AI AgentOps の展望 • AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • Largest library of AI-UX Interactions 技術記事 • Agents for Amazon Bedrock: Handling return of control in code • Generative AIが製品設計に与える影響とその調整 • The Agentic Era of UX リリース情報 • Assistants API 画像理解対応 • OpenAI Model Spec公開 海外ベンチャー企業 • Assista/単⼀のアプリからビジネス管理 • Fin AI Copilot/パーソナル AI アシスタント
  27. AI Agents are disrupting automation:⾃動化の市場調査 ロボティック・プロセス・オートメーション(RPA) • ⼿動の反復作業を⾃動化するためのプラットフォーム • 使⽤例:

    データ⼊⼒、請求書処理、顧客サポートなどのタスク iPaaS • データ、アプリケーションソース、APIを統合するためのミドルウェア層 • 使⽤例: 異なるシステム間でのデータの同期と統合 ローコード・タスク⾃動化プラットフォーム • シンプルなUIで反復タスクを⾃動化するプラットフォーム • 使⽤例: APIを通じてアプリ間のデータフローを⾃動化 垂直型⾃動化アプローチ • 特定のワークフローに焦点を当てたアプローチ • 使⽤例: サプライチェーン管理、ITサービスマネジメント(ITSM)、カスタマーサポートチャットボット
  28. AI Agents are disrupting automation:⾃動化の市場調査 エージェント⾃動化フレームワーク/Copilots/GPTs and Agents コパイロット •

    既存のアプリケーションやプラットフォームに統合された⽣成AIベースのインターフェース • 使⽤例:タスクの提案、コンテンツ⽣成、ユーザーフローの⽀援 エージェント • LLMの能⼒とコードとデータ、UIをを組み合わせてワークフローを実⾏する複合的なシステム • 使⽤例:コード⽣成、データ抽出、タスクの計画と実⾏ ノーコード エージェント/GPTs • コーディングの知識がなくても簡単にタスクエージェントを作成できるプラットフォーム • 使⽤例:簡単なタスクの⾃動化、特定のデータ抽出、簡単なレポート⽣成など
  29. How to get AI ʻagentsʼ working like humans • AI

    エージェントとそのプラットフォームを構築している 94 社を分析 • 職場の⽣産性などの⼀般的なタスクに焦点を当てたエージェント • 特定の仕事を実⾏する機能固有のエージェント • 特定の職業全体にわたるさまざまなタスクを⾃動化することを⽬的とした業界固有のエージェント リンク
  30. AIの職場導⼊に関する最新のトレンド from Microsoft and LinkedIn • 職場のAI利⽤者は時間の節約、重要な業務への集中、創造性の向上、仕事の楽しさ向上を感じている。 • 多くのリーダーは AI

    の必要性に同意するが、ROI を⽰す重圧により、リーダーの動きが鈍くなっている。 • 仕事で AI を使⽤する52%は、最も重要なタスクに AI を使⽤していることを認めたがらない。重要な仕事で AI を使⽤すると、仕事がAIで代替可能に⾒えるのではないかと懸念している(機会の損失) • 電⼦メールの過負荷は依然として続いている。電⼦メールの85%は 15 秒以内に読まれ、⼀般的な⼈は1 通の電 ⼦メールを送信するごとに約4 通の電⼦メールを読まなければならない。Microsoft 365 アプリでは、ユーザー は時間の60%を電⼦メール、チャット、会議に費やし、その他の時間はわずか40 %です。(改善の余地) • 今後 5 年以内に、AIに⾮常に詳しいリーダーの41%が AI を使⽤してビジ ネスプロセスを根本から再設計すると予想する。 • AIのヘビーユーザーは、タスクの前に頻繁にAI が役⽴つかどうか⾃問す る傾向が⾼く 、最初に完璧な回答が得られなかった場合でも試し続け、 新しいプロンプトを調査して試す。彼らはすでに個別のタスクを超えて、 AI を使⽤してビジネスプロセスとワークフローを再設計する可能性が⾼ い(ビジネスプロセスの変⾰の始まり) • リーダーは、従業員の AI に対する熱意をビジネス変⾰に向けることが重 要。ビジネス上の問題を特定しAI を適⽤する。トップダウン、ボトム アップのアプローチをとる。AIスキルのトレーニングを優先する。 https://www.microsoft.com/en-us/worklab/work-trend-index/ai-at-work-is-here-now-comes-the-hard-part/
  31. Agents for Amazon Bedrock: Handling return of control in code

    • 以前紹介した Agents for Amazon Bedrock のReturn of control 機能に関する実装紹介ブログ • ブログでは、顧客がシステムにログインできない問題に対して、エージェントがCRMから顧客情報 を取得し、システムのログインステータスを確認後、メールの返信案を⽣成してます。CRMには外 部APIが⽤意されています。 • Return of control を使⽤すると、既存のアプリケーションから直接APIを呼び出せます。新たに Lambda関数を構築し、認証やネットワーク設定を⾏う必要がないため、既存のインフラに簡単に 統合できます。 CRMから顧客情報の取得 ログインできるか検証 https://community.aws/content/2g8NsQl8CvJhxQ0635HKkg6hMga/agents-for-amazon-bedrock-handling-return-of-control-in-code
  32. Generative AIが製品設計に与える影響とその調整 • GoogleのPeople + AI Research(PAIR)の4⽉27⽇の記事 • Generative AIの進化に伴い、UXデザインはユーザーのメンタルモデルを考慮し、AIを「コラボレー

    ター」として位置づけ、ユーザーの期待を適切に調整する必要がある • メンタルモデルとは、ユーザーが製品や技術の動作を理解するために⼼の中で形成する認識の枠組み 実践的なアプローチ • AIがユーザーの意図を理解し、⾏動許可を⼈間に求めることで、ユーザーとの信頼関係を築く • AIシステムを使ったコード⾃動⽣成のような新しい⽂脈で、ユーザーのメンタルモデルを更新するサポー トが必要 • ユーザーの経験レベルに応じた説明やインタラクションを提供し、AIに対する理解と信頼を深める https://medium.com/people-ai-research/generative-ai-is-reshaping-our-mental-models-of- how-products-work-product-teams-must-adjust-953127660dff
  33. The Agentic Era of UX Agentic UX • 分析・意思決定の認知、視覚化やメディア作成の創造、ワークフローの運⽤に重点を置く •

    従来はユーザー操作をサポートする⾜場を提供していたが、今後は継続的な⽀援をするパートナー基準の 体験を提供する 良い例 • ビデオ録画ソリューションである Loomがユーザーのジャーニー全体を考慮した良い例 • Loomは、ユーザーのワークフロー全体をサポートし、ビデオの録画から、⾃動的に⽂字起こし、編集し、 Jira チケットを切るまでの機能を提供します。このエンドツーエンドの視点は今⽇の AI UX に⽋けている。 UXを考えるために 1. ユーザージャーニーをすべて⾒直してください 2. ジャーニーの各段階で、ユーザーの認知、オペレーション、創造的な負担、またはユーザーが最も孤独に なるポイントを調べます 3. ジャーニーの各ステップで、AI エージェントの独⾃の機能を適⽤してユーザーのタスクをサポートする⽅ 法を検討します。 https://uxdesign.cc/the-agentic-era-of-ux-4b58634e410b
  34. Assistants API 画像理解対応 • アシスタント API が画像をサポート • 画像 URL

    またはアップロードされたファイルを使⽤してメッセージを送ると、アシスタントは会 話のコンテキストの⼀部として画像を使⽤します。 • サポートされている画像形式は、png、jpg、gif、webp • 現在、組織ごとに 100 GB、組織内のユーザーに対して 10 GB の制限 • 現在、 Code Interpreter では画像 URL をダウンロードできません • Code Interpreterに画像ファイルを渡すには、メッセージの添付ファイルリストにファイルIDを追加 https://platform.openai.com/docs/assistants/how-it-works
  35. OpenAI Model Spec • 研究者やデータラベラーが、RLHFの⼀環としてデータを作成する際のガイドラインとして使⽤する • ⼀部は OpenAIでRLHFに使⽤したドキュメントに基づく部分もある • ガイドラインには、定義、⽬的、ルール、デフォルトの4つが記述される

    定義 アシスタント:エンドユーザーまたは開発者が対話するエンティティ 会話:モデルへの有効な⼊⼒は会話であり、メッセージのリストで構成されます メッセージには次のフィールドが含まれる • role(必須):"platform", "developer", "user", "assistant", or "tool” のいずれか • recipient(オプション): メッセージの処理⽅法を制御。関数呼び出し (recipient=functions.fooJSON) 、⼀般的なツール (recipient=browser) • content(必須): テキストまたはマルチモーダル (画像など) データ • settings(オプション):モデルの設定を更新する、プラットフォームまたは開発者メッセージ専⽤の⼀ 連のキーと値のペア • end_turn(必須):アシスタント メッセージ専⽤のブール値。アシスタントがアクションの実⾏を停⽌ して制御をアプリケーションに戻すかどうか https://cdn.openai.com/spec/model-spec-2024-05-08.html
  36. OpenAI Model Spec ⽬的 • 開発者とエンドユーザーを⽀援する • ⼈類に利益をもたらす • OpenAIを振り返る

    ルール • 役割の権限が強い順に指⽰に従う Platform > Developer > User > Tool • 違法⾏為を促進、関与しない • 化学的、⽣物学的、核の脅威など危険な情報を提供しない • クリエイターとその権利(知的財産権など)を尊重する • ⼈々のプライバシー(個⼈の連絡先、従業員情報など)を保護する • NSFW コンテンツに応答しない https://cdn.openai.com/spec/model-spec-2024-05-08.html
  37. OpenAI Model Spec デフォルト • ユーザーまたは開発者の最善の意図を想定する • 必要に応じて明確な質問をする • ⾏き過ぎずにできる限り協⼒する

    • ⼈間との会話とシステム内のメッセージのやり取りを区別し動作する • 客観的な視点を持つ • 公平性と優しさを奨励し、憎悪を阻⽌する • ⼈の考えを変えようと説得しない • 不確実性を表現するか回答を拒否する • 業務に適したツールを使⽤する • ⻑さの制限を守りながら、必要に応じて⻑い回答と短い回答をする https://cdn.openai.com/spec/model-spec-2024-05-08.html
  38. Fin AI Copilot/パーソナル AI アシスタント Intercom のFin AI Copilot は、すべてのカスタマーサポート職員向けパーソナル

    AI アシスタント AI機能のある受信箱、電話、チケット管理、アシスタントとの会話相談機能があるプラットフォーム 特徴 研修、トラブルシューティング、ガイダンスに役⽴つ 過去の会話履歴から最良の回答をする あらゆるコンテンツと連携する 深い洞察、利⽤の監視を⾏える 動画:https://www.youtube.com/watch?v=XYK2VI_MbSk https://www.intercom.com/support-for-agents/ai-copilot 動画では素早く⽚付けられることを通知量で表していた チケット対応の裏でFinアシスタントが⽀援
  39. プロダクト/ニュース 5⽉6⽇配信 ニュース • ChatGPT Plusの全ユーザーにメモリ機能搭載 • AIデバイス「rabbit r1」が正式発売 •

    LangSmith is now in Azure Marketplace • What is an Enterprise AI Agent? 海外ベンチャー企業 • Magical AI/RPA ブラウザ拡張機能 • Bardeen /RPA ブラウザ拡張機能 • ELEVENTH AI /RPAワークフロー⾃動化 • Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • Graft Intelligence Layer/チームメイトAI • Kin /メモリに基づくパーソナライズAI • Sema4.ai/エンタープライズ向けGPTs
  40. AIデバイス「rabbit r1」が正式発売 • rabbit r1の発売イベントが、4⽉24⽇(⽶国時間)に開かれた • 最もシンプルなコンピューターをつくることがビジョン • rabbitの狙いは、まずはデバイスに話しかけてもらい、その後にコンピューターで処理すること •

    デモでは、rabbit r1のカメラで紙のテーブルデータの写真を撮り、⾳声で2列を⼊れ替えてたもの を⾃分宛にメールで送るように依頼し、成功した https://wired.jp/article/rabbit-r1-launch-event-nyc/
  41. LangSmith is now in Azure Marketplace • LangSmithが Azure Marketplace

    で利⽤可能になった • Azure Kubernetes アプリケーションとしてLangSmithを購⼊できる • LangSmithは、LLM アプリケーションの開発、テスト、監視を⾏うための統合 DevOps プラット フォーム https://blog.langchain.dev/announcing-langsmith-is-now-a-transactable-offering-in-the-azure-marketplace/
  42. What is an Enterprise AI Agent? • Sema4-aiのエンタープライズ向けAIエージェントブログ • エージェントの⾃動化範囲の拡⼤がタスク⾃動化、プロセス⾃動化と分かりやすい

    • ⾃然⾔語での指⽰の粒度が徐々に⼿先の動作レベルから業務フローレベルに⾼度化されていく https://medium.com/sema4-ai/what-is-an-enterprise-ai-agent-feae89d784ef
  43. Magical AI/RPA ブラウザ拡張機能 • 私たちの仕事の多くが異なるウェブサイトやアプリ間で情報を移動させていることが多い • Magical AIブラウザ拡張機能を使えば、繰り返し作業を⼤幅にスピードアップ • Automate

    tasks like typing repetitive messages, and updating databases. 営業 • どこにでもメッセージを素早く⾃動送信、CRMなど管理タスクの⾃動⼊⼒ サポート • チケット番号や顧客名を含む下書きを⾃動作成、タブ間の⾯倒なコピペを排除、顧客との⼀般的な会話をテンプレ登録 ヘルスケア • 患者のカルテを作成、異なるツール間で利⽤できるテンプレ登録、2 回のクリックで処⽅箋を作成 採⽤ • フォローアップメッセージを⾃動送信、Web サイトから候補データを⾃動収集、スプレッドシートに分類 教育/運⽤/個⼈ • フォームの⾃動記⼊、繰り返し業務の⾃動化、サイト間のデータ移動 https://www.getmagical.com/
  44. Truva AI/オンボーディング⽤AI ブラウザ拡張機能 • オンボーディング⽤エージェントをブラウザ拡張機能で提供 • Jira, confluence, Notion, Slack,

    Githubなど • 独⾃サービスもAPIがあればオンボーディング⽀援ができそう チャットでタスクを依頼 使い⽅が分からなくても助けてくれる 様々なソフトウェアで⽀援! https://www.youtube.com/watch?v=YIVvXvLv_ak