電通総研のLLMエージェントの技術開発や製造のAI活用事例紹介

Transcript

1. 2024年5月29日 株式会社電通総研 太田真人、横井俊昭 [2E5-IND-5-03] 電通総研のLLMエージェントの技術開発や 製造のAI活用事例紹介
2. 2 電通総研の紹介 LLMに基づくAIエージェントの取り組み紹介 エンジニアリング業務向けのAI取り組み紹介
3. 3 © DENTSU SOKEN INC. 電通総研 電通総研は、株式会社電通 (現 株式会社電通グループ)と米国General Electric Company(GE)との合弁で1975年に設立された企業です。 2024年1月1日に、 『電通国際情報サービス』から 『電通総研』に商号を変更いたしました。 業界・ソリューション別に4つの事業セグメント（製造、金融、ビジネス、ｺﾐｭﾆｹｰｼｮﾝ）でビジネスを展開しています。 金融ソリューション 金融機関をはじめ企業における各種金融業務や、 新たな金融ビジネスの創出を支援 コミュニケーションIT 企業におけるICT基盤の構築・運用、 電通グループのマーケティングノウハウを 活用したITソリューションを提供 製造ソリューション 製造業のエンジニアリング領域を中心に、 製品ライフサイクル全般を支援 ビジネスソリューション 人事・会計領域を中心に、高度化する 企業のグループ経営に貢献 14% 36% 28% 22% 売上高構成比 （2022年12月期）
4. 4 © DENTSU SOKEN INC. AIトランスフォーメンションセンター • 各領域のプロが結集し、AIのビジネス応用を 幅広い視野で推進するために結成した AIに特化した全社横断チーム • AIモデルを構築するだけではなく、お客様が DX活動の中でたまったデータをビジネス価値 につなげるためデータ活用推進 • 外部公演も積極的に実施、AI系の書籍執筆者 やKaggle Masterも在籍 https://aitc.dentsusoken.com/ ▪どのような組織？ ▪チーム構成 お客様のビジネスに合ったAIソリューションをご提案。AI/ データ活用戦略から、モデル構築、システム化まで、ビジネス、 エンジニアリング両面からビジネスをご支援。 • PoC（コンセプト検証）実施 • AI導入コンサルティング • AIシステム開発（スクラッチ開発） • AI人材育成 社会が求めるソリューションを高い開発スキルと最新の研究開発の 成果でAIモデルをプロダクト化。お客様のデータ活用を技術力で加 速させていく。 • AIソフトウェア開発 • AI技術のビジネス適用のための研究開発 • セミナー・学会発表 • 産学連携 • 書籍執筆・AI啓蒙活動 AIコンサルティング AIソリューション開発/最新AI研究 https://aitc.dentsusoken.com//solution.html ▪ソリューション
5. 5 © DENTSU SOKEN INC. Azure OpenAI Service を用いた Know Narrator シリーズ Know Narratorは、電通総研のChatGPTソリューション powered by Azure OpenAI Serviceになります。 Azure OpenAI ServiceのChatGPTの導入・活用・教育を推進し、業務効率化をご支援致します。 対話ログ分析ソリューション Know Narrator Chat/Search の利用画面
6. 6 © DENTSU SOKEN INC. AITC 研究開発 研究開発は、事業部支援、PoCコンサル案件、製品につながるテーマで取り組んでいます。 企業や大学と共同研究なども取り組んでいます。 AIを育てる Expert in the Loop 不確実性を考慮した外観検査 人間との協調 ヘルスケア
7. 7 電通総研の紹介 LLMに基づくAIエージェントの取り組み紹介 エンジニアリング業務向けのAI取り組み紹介
8. 8 © DENTSU SOKEN INC. LLMに基づくAIエージェントとは 大規模言語モデルを使い、複雑なタスクを自律的に解決するAIシステム https://www.rabbit.tech/ https://humane.com/shop 業務エージェント ツールを使い特定の業務を遂行する 複数サイトから情報抽出してエクセルに出力など タスク ツール ナレッジ Excel One Drive Outlook 特定企業の動向調査 情報抽出と転記 下書き作成 市場調査担当 試行履歴 業務知識 自社情報 生成AIエージェントの例 消費者向け ・旅行や移動計画 ・価格比較や商品推薦 ・アカウント/サブスク管理 バックオフィス業務向け ・会議の予約調整 ・法務や人事など書類レビュー ・コスト管理 コア業務向け ・カスタマーサービス ・ソフトウェア開発 ・データ分析
9. 9 © DENTSU SOKEN INC. LLMに基づくAIエージェントの作り方 LLMが持つ言語理解、推論能力を用途ごとにモジュール化し、ワークフローにすることで実現 DBやREST APIなど外部システムを駆使することで高度なタスクを遂行できる 環境 計画 ツール利用 自己修正 最終出力 指示理解 LLMエージェントのワークフロー メモリ
10. 10 © DENTSU SOKEN INC. LLMエージェントにヘルプデスクの一次回答を代替可能か検証 調査事項 • エージェントの要素技術である計画とツール利用と自己修正は役立つのか • 今回はエージェントのワークフローを紹介します エージェント 顧客 問い合わせ 窓口 開発者 1. 過去の問い合わせに同様の質問があるか確認 2. ヘルプサイトに記述があるか確認 3. 有識者に質問 4. 再現できるものなら再現をして確認 5. 開発ドキュメントの仕様を確認 6. Azureの仕様ならMS Learnを確認 7. 回答案を作成 8. 必要に応じてヘルプサイトに記述 回答までの一般的なフロー
11. 11 © DENTSU SOKEN INC. 問い合わせと回答の観点 問い合わせ内容（デモサンプル） チャットにおいて入出力されるデータの取り扱いについて教 えてください。 Know Narrator Chat のチャットにおいて入力したデータや、 AIから応答されたデータはAzure上のどこかのストレージに 保存されますか。 弊社の場合、Azure OpenAI Serviceのオプトアウト申請を 行っています。Microsoft社がAzure OpenAI Serviceで扱わ れたチャットデータを利用・閲覧することは無い認識で、御 社含め社外からも利用・閲覧することは出来ない認識です。 こちらの認識は合ってますでしょうか。 以上、よろしくお願いいたします。 回答する観点 • KN Chatのデータはどこに保存されているのか • Azure OpenAI オプトアウト申請したらデータ はどこにいくのか • 社外から利用データは閲覧できないですか • MS Learn ドキュメント検索 • Know Narratorヘルプサイト検索 • 開発者ドキュメント検索 エージェントが使える道具
12. 12 © DENTSU SOKEN INC. エージェントの実行結果：計画 1.'Know Narrator Chatでの入力データとAI応 答データの保存先’を知る 2.'Azure OpenAI Serviceのオプトアウト申請 後のデータ取り扱いについて’を知る 3.'Know Narrator Chatのデータアクセス権限 と閲覧可能なユーザー'を知る 環境 計画 ツール利用 自己修正 最終出力 指示理解 メモリ gpt-4-turbo (0125) 生成結果で3つのタスクに分解 回答すべき観点を洗い出せている
13. 13 © DENTSU SOKEN INC. エージェントの実行結果：サブタスクごとにツール利用から自己修正 サブタスク２：'Azure OpenAI Serviceのオプトアウト申請後のデータ取り扱いについて’を知る ツール利用 1回目 search_know_narrator_developer_docs{"query":"Azure OpenAI Service オプトアウト申請後のデータ取り扱い"} 評価 1回目 {'status': 'NG', 'advice': '提供された文書は「Azure OpenAI Serviceのオプトアウト申請後のデータ取り扱 い」についての直接的な情報を含んでいませんでした。 サブタスクの情報が特定できませんでしたので、異なる アプローチを試みる必要があります。Azure OpenAI Serviceの公式ドキュメントやFAQセクションを検索すべ きです。’} ツール利用 2回目 search_microsoft_learn_docs{"keywords":"Azure OpenAI Service opt-out data handling"} 2. 評価 2回目 OK 環境 計画 ツール利用 自己修正 最終出力 指示理解 メモリ 正しく道具を 選び直している 道具を間違えている
14. 14 © DENTSU SOKEN INC. エージェントの実行結果：最終出力 Know Narrator Chatにおけるデータの取り扱いに関するご質問に対し、以下の情報を提 供いたします。 ### 入出力データの保存先 Know Narrator Chatでユーザーが入力したデータや、AIからの応答データは、Azure CosmosDB for MongoDBに保存されます。このデータベースは、アプリケーションの データベースとして機能し、生成AIへのクエリや回答結果などを含む対話履歴の保存に 関連するデータを格納します。 加えて、ユーザーがアップロードする画像やファイルなどの非構造化データは、Azure Blob Storageを利用して保存されます。ここでは、特にユーザーからアップロードされ た情報の保管が行われます。 ### Azure OpenAI Serviceのオプトアウト申請後のデータ取り扱い Microsoft社によるAzure OpenAI Serviceでのデータの取り扱いについては、 ユーザーがオプトアウト申請を行った場合、以下の点が確認されています： - お客様のプロンプト（入力）や完了（出力）、埋め込みなどのデータは他の顧 客に利用されたり、OpenAIによってアクセスまたは利用されたりすることはあ りません。 - これらのデータは、OpenAIモデルの改善に使用されたり、Microsoftや他の第 三者の製品やサービスの改善に使われたりすることはありません。 - 入力されたデータは、指定された地理的エリア内でのみ処理され、お客様が アップロードしたトレーニングデータはお客様のAzureテナント内に保存されま す。 ご質問にあった「社外からの利用・閲覧ができない」というご認識につきましては、正 確です。Azure OpenAI Serviceにおけるデータは、Microsoftによって厳重に管理され、 ユーザーのオプトアウト申請後は上記のような厳格な条件のもとで取り扱われます。 以上、Know Narrator Chatにおけるデータの取り扱いと、Azure OpenAI Serviceのオプ トアウト申請後のデータ取り扱いについての情報提供となります。さらにご不明点がご ざいましたら、お気軽にお問い合わせください。 全てのサブタスクの結果をもとに回答生成 環境 計画 ツール利用 自己修正 最終出力 指示理解 メモリ 回答に必要な要素を整 形して答えられている
15. 15 © DENTSU SOKEN INC. より詳細に知りたい方 企業ブースにお立ち寄りください 今日と明日は太田がブースに比較的対応しています。 詳しい知見などは一部コラムで執筆しています。 技術的な調査内容も発信しています。 コラムの写真 AITCコラムより
16. 16 電通総研の紹介 LLMに基づくAIエージェントの取り組み紹介 エンジニアリング業務向けのAI取り組み紹介
17. 17 © DENTSU SOKEN INC. エンジニアリング業務とAI 設計開発プロセスにおける課題とAIの取り組み 製品企画 要求定義 【プリ】解析モデル作成の効率化 ⇒解析プリポストAI 【ソルバー】計算時間の短縮 ⇒CAEサロゲートモデル 【ポスト】解析結果判断の平準化/自動化 ⇒解析プリポストAI 人間の感覚（HMI）の定量化 ⇒官能（HMI）評価AI 設計検討の抜け漏れ防止 ⇒ナレッジ検索AI AI教師データの不足 ⇒データ＆プロセス管理 知見の活用と今後の蓄積 ⇒生成AI/要約AI（GPT） 効率的な形状検討 ⇒形状生成AI 着目現象のメカニズム解明 ⇒因果分析AI 実験評価の簡素/代替化 ⇒官能評価AI 評価検証 実験評価 設計 自動設計 ⇒Generative Design 解析評価 設計案作成 制御則の設計 ⇒メカ×制御AI 過去の設計資産の活用 ⇒類似形状検索AI 解析効率化 ⇒自動メッシュAI モデルがない検討強化 ⇒1DCAE×AI お客様の課題 ⇒提案可能なソリューション 凡例
18. 18 © DENTSU SOKEN INC. 機械学習/AIの用途と技術 用途・技術の大まかな分類 • 数理最適化は機械学習以前からある技術だが、ここでは広義のAIとみなす 機械学習/AI 分析 予測 創出 最適化 教師あり学習 教師なし学習 値予測(回帰) クラスタリング クラス分類 強化学習 生 成 数理最適化 用途 技術
19. 19 © DENTSU SOKEN INC. 分析のためのエンジニアリングAI：官能評価 実験データ/CAEモデルと官能評価の関係をモデル化して分析。定量的な根拠に基づいたターゲットセッティン グなどに活用 操縦安定性の性能開発 補強 大量の 計測データ エンジニアリング 特徴量 AIが判断した性能に 紐づく特徴空間 CAEモデルに 知見を反映 メカニズム の考察 ・官能評価とCAEモデルの相関性向上のためにAIと物理的な仮説を 用いてメカニズムを分析 ・検証対象を仮説に基づいて実験を行い、収集した実験結果をAIで 分析し、重要な物理的特徴量を探索、メカニズムの考察を行い CAEモデルに反映 ・官能評価実験とCAEモデルのコリレーションが取れ、CAEモデルを活用した 官能性能向上が期待される 乗り心地走行試験と台上試験の相関性導出 走行データ AIの判断 （重要な特徴量とその変化） 台上試験での確認結果 AIによる分析 対応している 台上試験でも 特徴量を確認 （AI無し） 台上試験 ・AIを用いて乗り心地走行試験（官能評価）の特徴量分析を実施し、 分析した特徴量評価を台上試験にも適用し、相関性を確認 ・ 従来手法では難しい走行試験の官能評価の特徴量をAIが探索 ・台上試験でみるべき評価特徴量が分かる事で、期間/費用が掛かる 乗り心地走行試験を台上試験に置き換えて開発プロセス全体の リードタイムの削減が期待される
20. 20 © DENTSU SOKEN INC. 予測のためのエンジニアリングAI：サロゲートモデル 実験や大規模シミュレーション計算をAIモデルで代替することで作業時間短縮や作業品質平準化を図る • 課題に応じて最適なAIモデル構築方法を提案、支援 多数のMLモデルを比較検討したい場合(AutoML) 出力 入 力 学習済みAIモデル x1 x2 r1 r2 r3 r4 x3 x4 x5 x7 x8 x9 x10 x11 x12 x13 x14 x15 x16 x16 r5 r6 t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t10 寸法パラメータ(～数百個) 入力 固有振動数 No a1 a2 … al b1 b2 … bm L1 L2 … Ln x1 x2 … xJ r1 r2 … rK f1 1 0.386 0.062 … 0.879 0.226 0.894 … 1.465 0.531 0.695 … 0.442 0.242 0.835 … 1.636 2.069 1.328 … 0.447 3.022E+05 2 0.990 0.502 … 1.469 0.063 0.280 … 0.426 0.423 0.969 … 1.181 0.535 0.768 … 1.685 1.176 1.845 … 0.150 8.585E+05 3 0.871 0.425 … 1.374 0.844 0.399 … 0.907 0.407 0.503 … 1.510 0.839 0.478 … 0.121 1.088 1.076 … 0.259 4.357E+05 4 0.471 0.200 … 0.883 0.420 0.867 … 0.899 0.716 0.321 … 1.244 0.472 0.924 … 1.238 0.378 0.625 … 0.816 9.103E+05 5 0.157 0.468 … 1.573 0.510 0.446 … 0.981 0.197 0.115 … 0.612 0.484 0.791 … 0.340 2.036 1.319 … 0.442 1.289E+05 … … … … … … … … … … … … … … … … … … … … … … N-1 0.668 0.401 … 1.578 0.815 0.771 … 0.654 0.175 0.471 … 0.996 0.753 0.018 … 0.714 0.439 0.416 … 0.534 4.926E+05 N 0.610 0.237 … 0.359 0.306 0.414 … 0.096 0.403 0.861 … 1.080 0.169 0.455 … 1.309 1.143 0.544 … 0.332 4.143E+05 説明変数 目的変数 Bagging Voting Stacking feature1 (説明変数) feature2 (説明変数) featuren (説明変数) 特徴量設計 アンサンブル学習 各種回帰手法 サロゲートモデル 単一変量 Train! 分布を予測したい場合(PoD) 出力 入力 寸法パラメータ(～20個) 入力 Train! 学習済みAIモデル モニター点 No a b L1 L2 L3 R1 R2 P 1 0.207 0.005 1.199 1.151 1.046 0.233 0.996 6.496E+05 2 0.851 0.564 0.283 2.377 0.211 0.908 0.088 4.123E+05 … … … … … … … … … N 0.467 0.906 1.907 2.678 0.662 0.240 0.995 5.196E+05 説明変数 目的変数 PoD×ARBF 値の空間分布 サロゲートモデル 寸法パラメータを決められない場合(CNN/GNN) 固有振動数 を学習 入力 Train! 入力 Train! 固有モードを学習 AIモデル Deep Learning 応答曲面 No 断面形状 軸受け質量 リブA厚さ リブB高さ … 固有値 モード形状 1 197.1 2.859 8.831 … 3453 2 1242.2 1.648 6.654 … 3550 … … … … … … … … N 773.6 2.435 5.894 … 3207 サロゲートモデル 寸法 出力 出力 入力 入力 断面形状 画像 1次固有 振動数 固有モード形状 CADデータ 軸受け質量 リブA厚さ リブB高さ ・・・ 入力 学習済みAIモデル 目的変数 説明変数 目的変数 説明変数 多数の訓練データを用意できない場合(PINNs) 入 力 Train! 学習済みAIモデル Deep Leaning サロゲートモデル 出力 入力 ( x, y, z, t ) U (x,y,z,t) V (x,y,z,t) W (x,y,z,t) P (x,y,z,t) 方程式の 独立変数 支配方程式 方程式の 従属変数 方程式からサンプリング したデータで学習 u | x=0 = Uin P | x=1 = Pout 境界条件 実測 データ 説明変数 目的変数
21. 21 © DENTSU SOKEN INC. 最適化・創出のためのエンジニアリングAI：Generative Design 3D生成系AIとサロゲートモデルをワークフローで繋げて最適解探索 • 3D生成AI×サロゲートモデル×最適化で設計案を対話的に探す 3D生成 サロゲートモデル 最適解探索 Generative Designプロトタイプ
22. 22 © DENTSU SOKEN INC. 最適化・創出のためのエンジニアリングAI：条件あり形状生成 拡散モデルを応用して物理特性などを条件とした製品形状画像を生成 • 数理最適化による膨大な数の繰り返し評価計算が不要になる。 数理最適化による最適形状の探索 拡散モデルによる最適形状の推論 拡散モデル 入力 設計要件 設計案 レイアウト 温度 体積 表面積 入力 性能, コスト 出力 最適解探索 繰り返し評価計算 最適解を直接的に推論
23. 23 © DENTSU SOKEN INC. 最適化・創出のためのエンジニアリングAI：条件あり形状生成 JSAI2024にてマツダ様と電通総研で共著発表 • 西原ら, "拡散モデルを応用した自動車構造部品の断面構造提案", JSAI2024 [1M3-GS-10-03]
24. 本文書 （添付資料を含む） は、 株式会社電通総研が著作権その他の権利を有する営業秘密 （含サプライヤー等第三者が権利を有するもの） です。 当社の許可なく複製し利用すること、また漏洩することは 「著作権法」 「不正競争防止法」 によって禁じられております。 本資料内の社名・製品名は各社の登録商標です。 CONFIDENTIAL