完全自律型 AIエージェントと Agentic Workflow 〜ワークフロー構築という現実解 2025.1.14 #pharmax_tech_collabo

（C）PharmaX Inc. 2024 All Rights Reserve 2 自己紹介 上野彰大 PharmaX共同創業者・エンジニアリング責任者 好きな料理はオムライスと白湯とコーラ マイブームはLLMとRust X：@ueeeeniki

（C）PharmaX Inc. 2024 All Rights Reserve 3 個人でも勉強会コミュニティ StudyCoも運営 自己紹介

（C）PharmaX Inc. 2024 All Rights Reserve 4 自社としては LLMを中心に勉強会を月 1回程度開催 自己紹介

（C）PharmaX Inc. 2024 All Rights Reserve 5 医療アドバイザーに体調 のことをいつでも気軽に相 談できる 相談型医療体験 30種類以上の漢方薬からあ なたに合ったものを月毎に 提案 パーソナライズ漢方薬 定期的に漢方をお届けし、 一人ひとりに寄り添うかか りつけ医療を提供 継続的なかかりつけ 一生涯にわたって寄り添うかかりつけ漢方薬局「 YOJO」

（C）PharmaX Inc. 2024 All Rights Reserve 6 患者向けチャットシステムと薬剤師向け管理画面を自作 患者とのスムーズなコミュニケーション 薬剤師向け管理画面 チャット形式での診断・相談・購入 患者向けチャットシステム

（C）PharmaX Inc. 2024 All Rights Reserve 7 今回対象とするアプリケーション ● ユーザーからのメッセージを受信したタイミングで LLMによる返信のサジェストが作られ、一部の メッセージは自動送信＆必要があれば薬剤師が確認・修正して送る ○ 自動で送る場合は当然精度が重要 ○ サジェストされる場合も、そのまま送信することができれば、返信速度が速くなる＆生産性が 高くなるので精度が高いことはやはり重要 ● 管理画面上でボタンを押す（ショートカットキーをタイプする）ことでもチャットがサジェストされる 薬剤師にチャットの返答をサジェッションするために LLMを活用している

（C）PharmaX Inc. 2024 All Rights Reserve 8 YOJOにおけるAgentic Workflow ① ② ④ ● ①ルールベースでLLM処理可能かを 判定 ● ②LLMで会話を分類しLLM処理可能 かを判定 ● ③LLMで次のフェーズに移るべきかど うかを判定 ● ④LLMでメッセージを作成 ● ⑤LLMで作成されたメッセージを評価 （LLM-as-a-Judge）し、一定の水準を 下回ったら再生成して、クリアしたもの のみをサジェストする 現時点では精度高く メッセージ提案できない ため薬剤師が対応 ③ ⑤ ※②〜⑤： GPT-4o

（C）PharmaX Inc. 2024 All Rights Reserve 9 ● 適した漢方の選択 ● 漢方に関しての説明 ● 飲み合わせの判断 YOJOで自動化or半自動化されている業務 ● 購入までのオンボーディング ● パーソナライズされたプラン提案 ● 販促のためのリマインド ● 配送等の問い合わせ対応 ● 継続的な健康相談 ● 漢方の変更判断 ● 体調確認のためのリマインド ● 患者ごとのサマリーの更新 ● 副作用等への対応 YOJOではさまざまな業務の自動化 or半自動化を実現している

（C）PharmaX Inc. 2024 All Rights Reserve 10 LangGraphで実際に構築したグラフ ルール1 ルール2 LLM-メッセージ作成 _ 分類4 LLM-会話分類 LLM-メッセージ作成 _ 分類1 LLM-メッセージ作成 _ 分類2 LLM-メッセージ作成 _ 分類3 LLM-フェーズ切替 LangGraphで作成したグラフはmermaidで出力しテストにも使用している

（C）PharmaX Inc. 2024 All Rights Reserve 11 LangSmithによるトレーシング rule1 ① ② ③ ④ ⑤ ・・・ rule2 ④ ⑤ ① ② ④ ③ ⑤ ※②〜⑤： GPT-4o

12 （C）PharmaX Inc. 2024 All Rights Reserve Agentic WorkflowとAIエージェント

（C）PharmaX Inc. 2024 All Rights Reserve 13 プロンプト内に タスクのルールや 選択肢を明示する Agentic Workflowとは ● Agentic WorkflowとはLLMの組み合わせをデザインし、目的とする処理系を作り上げること ● 途中で人が対応することがあってもいい ● Agentic Workflowのようにワークフローを組むパターンはエージェントと呼ばないのでは？という指摘もある 分類タスク タスクA タスクB タスクC タスクD タスクE タスクF 分岐 人の承認を挟む 途中から人が引き継ぐ 分類結果によって 分岐させる

（C）PharmaX Inc. 2024 All Rights Reserve 14 完全自律型の AIエージェント 情報の認識 アクション ● 必要な情報収集もアクションの決定も完全に自律的に決め、「内部的にかなりの自由度を持ち、必要ならプログ ラムも書き足して外部ツールを連携して …といった振る舞いができる」レベルのものを完全自律型と呼ぶこととす る アクションした結果も 環境情報として認識する 必要な情報を自由に収集 アクションも自由に考えて決定する

（C）PharmaX Inc. 2024 All Rights Reserve 15 ● ユーザー目線 ○ ユーザーがタスクを指示したあとは「ほぼ放っておいても結果を出してくれる」のであれば、 ユーザーからは“自律的に動いている”ように見える ○ たとえ開発者が裏でワークフローを定義していようが、ユーザーが都度コマンドや選択を指 示しなくても動いてくれるのであれば、「エージェントっぽい」 ● 開発者目線 ○ “（開発者も含め）誰も行動手順を制御していないほど自由に動ける ”のがエージェント ○ 「内部的にかなりの自由度を持ち、必要ならプログラムも書き足して外部ツールを連携して …といった振る舞いができる」レベルのものをエージェントと呼ぶべき 誰の目線からみて自律的なのか？という軸で整理 ユーザー目線で見るか、開発者目線で見るかによって意見が変わってしまっているように感じる

（C）PharmaX Inc. 2024 All Rights Reserve 16 ハイブリッド型もあり得ることには注意 下記のようなハイブリッドな設計自体も不可能ではない ● ワークフローで分岐させたここから先は、 “エージェント的な柔軟さ ”も混ざっている ● 基本的には、ワークフローを構築するけれども、自律的に判断できる余地も残しておく

（C）PharmaX Inc. 2024 All Rights Reserve 17 AIエージェントと呼ぶかどうか ● ユーザー目線で見れば、ワークフロー型もハイブリッド型も AIエージェントと呼ぶ ● 開発者目線で見れば、完全自律型しか AIエージェントとは呼ばない という整理ができそう ハイブリッド型 完全自律型 ◯ ◯ ✕ ◯ ユーザー目線 開発者目線 ワークフロー型 ✕ ◯

18 （C）PharmaX Inc. 2024 All Rights Reserve ルール設定・ワークフロー構築という現実解

（C）PharmaX Inc. 2024 All Rights Reserve 19 各LLMにルールやガードレールを定義するメリット 判断に必要な情報と判断基準が与えら得れているので、判断が正確になるかつ安定する ● 性別、年齢、身長、体重などの基 本情報 ● 体質に関する質問への回答 ● ユーザーの好みの剤形（顆粒か 錠剤かなど） …etc {情報}を下に下記からユーザーに 合った漢方を選択してください ・A ・B ・C …etc ✕ 選択肢 選択 情 報 判 断 基 準 アクション 情報の認識

（C）PharmaX Inc. 2024 All Rights Reserve 20 自律的なアクションの決定 外部システム との連携 完全自律型のデメリット 情報の認識 過去の行動実績やDBの情報から毎度アクションを考える必要があるので不安定かつ負荷がかかる 自律的な ● 状況判断 ● 判断基準の策定 ● 必要な情報収集 アクション 自分の状況 DB ● ユーザー情報等 ● 過去の行動ログ

（C）PharmaX Inc. 2024 All Rights Reserve 21 ワークフローを構築するメリット 分類タスク タスクA タスクB タスクC タスクD タスクE タスクF 分岐 ✕ 落ちた時に 途中から人が引き継ぐ パターンに切り替える デバッグできる 遂行できなかった ワークフローを構築しているので正確かつ、人間がデバッグや引き継ぎもしやすい

（C）PharmaX Inc. 2024 All Rights Reserve 22 完全自律型のデメリット 分類タスク タスクD タスクE タスクF 分岐 タスクB&C タスクA これまでの人間の想定と かけ離れたワークフロー 落ちた時に 途中から人が 引き継げない ✕ 遂行できなかった デバッグ不可 人間の想定とかけ離れた方法で作業をされると、失敗したときにデバッグや引き継ぎも難しい

（C）PharmaX Inc. 2024 All Rights Reserve 23 AIエージェントに関する私の個人的意見のまとめ ● ワークフローを定義するAgentic Workflow型のAIアプリケーションをAIエージェントと呼ぶべき かどうかというAIエージェント定義論争は個人的にはどちらでもいい ● 現時点の技術では、複雑な業務を安定的にこなすには、ワークフローを定義するのが現実解では ないか ● ユーザーから見て「ほぼ放っておいても結果を出してくれる」「勝手にタスクを実行してくれる」こと で実際に価値がでているのであれば、裏側がどう作られていようともいいはず 裏側の仕組みはどうでもよく、最もユーザーに価値が出るように作ればいいはず