Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今、知っておきたい! 生成AIエージェントの世界
Search
Elith
April 05, 2024
Programming
3
800
今、知っておきたい! 生成AIエージェントの世界
Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3
で登壇した時の資料です。
Elith
April 05, 2024
Tweet
Share
More Decks by Elith
See All by Elith
[ECCV2024読み会] 衛星画像からの地上画像生成
elith
1
940
生成AI グローバルトレンド実務で活かす新規事業構築の5つの方法
elith
0
120
マルチモーダルLLMがもたらすビジネス革新と技術解説
elith
2
580
LLMに医療知識をつけるには
elith
5
1.4k
放射線分野の問題をLLMに解かせてみた
elith
1
670
Data Is All You Need
elith
0
200
[CVPR 2023 論文紹介]Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
elith
0
430
画像を用いた論文解説の可能性
elith
1
1.2k
Other Decks in Programming
See All in Programming
DevFest - Serverless 101 with Google Cloud Functions
tunmise
0
130
선언형 UI에서의 상태관리
l2hyunwoo
0
230
useSyncExternalStoreを使いまくる
ssssota
6
1.6k
Online-Dokumentation, die hilft: Strukturen, Prozesse, Tools
ahus1
0
100
20年もののレガシープロダクトに 0からPHPStanを入れるまで / phpcon2024
hirobe1999
0
870
Mermaid x AST x 生成AI = コードとドキュメントの完全同期への道
shibuyamizuho
1
300
Webエンジニア主体のモバイルチームの 生産性を高く保つためにやったこと
igreenwood
0
340
Amazon S3 NYJavaSIG 2024-12-12
sullis
0
110
Monixと常駐プログラムの勘どころ / Scalaわいわい勉強会 #4
stoneream
0
300
今年のアップデートで振り返るCDKセキュリティのシフトレフト/2024-cdk-security-shift-left
tomoki10
0
270
Асинхронность неизбежна: как мы проектировали сервис уведомлений
lamodatech
0
1.1k
ドメインイベント増えすぎ問題
h0r15h0
2
470
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Visualization
eitanlees
146
15k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
25k
Testing 201, or: Great Expectations
jmmastey
41
7.1k
Git: the NoSQL Database
bkeepers
PRO
427
64k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.4k
Producing Creativity
orderedlist
PRO
342
39k
Become a Pro
speakerdeck
PRO
26
5k
Transcript
I Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3 今、知っておきたい! 生成AIエージェントの世界 株式会社Elith
I 2 アジェンダ 本日は下記アジェンダに沿ってお話させていただきます ▪ Elithについて ✔ 登壇者自己紹介 ✔ 会社概要
✔ 案件ポートフォリオ(一部)のご紹介 ▪ 生成AIエージェントについて ✔ 生成AIエージェントとは ✔ 研究事例 ✔ ビジネス活用事例 ✔ 今後の動向
I 3 Elithについて
I 4 Elithについて_登壇者自己紹介 井上 顧基 Inoue Koki ファウンダー& CTO 【略歴】
• 北陸先端科学技術大学院大学にて、量子コン ピュータの材料探索にかかる研究で修士号を 取得 • 大手部品メーカーへ新卒入社後、AIベンダー などを経てAI開発に関わる多様な業務を経験 • 起業と同時期に、東北大学医学系研究科に進 学し、医学物理分野での医療AI研究に従事中 (博士後期課程) • 医学物理のトップカンファレンスである AAPMで採択された実績あり 【AIをはじめたきっかけ】 • 自己の深淵を探究したいという欲求が昔からあった • 更なる自己の真髄を解明するために、人間への敬意を基 盤とした医学的観点と、人間の機能を模倣するAIの工学 的観点の双方から、人間存在の神髄に迫ろうと考えた 本日はCTOの井上からElithにかかる研究/ビジネス事例をご紹介いたします。 AI資格試験の 企画支援・ 書籍/論文執筆の 実績
I 5 Elithについて_会社概要 Elithは『オートクチュ々ルなAI開発を通じてAIを身近な存在に変え、 ビジネスの加速と資本サイクルの活性化を実現する』ことをミッションとし、 AI受託開発/研究コンサルティングなど幅広い事業を展開しています ミッション 事業内容 ①AI受託開発 ②研究
コンサルティング ③自社サービス • POCからデプロイにかかる開発 をワンストップでご支援 • 顧客の課題解消に向けたオート クチュールなAI開発が可能 • 開発チームへの研修や弊社技術 顧問(書籍/論文執筆の実績あり) による伴走型ご支援 • 医療音声データセット販売 • 画像生成AIアプリケーション • 手話AI 東京大学・松尾研 究発スタートアッ プとして高い技術 力を持つ企業 社会貢献に寄与す る意思を持った 人材 様々な業界におけ る企業課題に対し、 AIによるソリュー ションを提供し、 ビジネスを加速
I 6 Elithについて_案件ポートフォリオ(一部)のご紹介 多様な業種の企業にソリューションをご提供。SX事例としてクライアントの成長に持続的に 寄与しています ソリューションテーマ 利活用 LLM* 画像AI AI教育/
アドバイザリー クライアント業種 製造・ インフラ 金融 医療 メディア 生成AI ✔ 画像説明文作成 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ M&A契約書にかかる文書生 成 ✔ 外資系ファンド ✔ 開発期間:2023年9月~現在 ✔ カルテ形式の文書分類 ✔ 医療事業部門(インフラ) ✔ 開発期間:2023年11月 ~2024年1月 ✔ 広告文書生成 ✔ 大手広告会社 ✔ 開発期間:- ✔ マルチモーダルLLM構築 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ 金融特化LLM構築 ✔ 証券会社 ✔ 開発期間:- ✔ 放射線特化LLM構築 ✔ 東北大学・藤田医科大学 ✔ 開発期間:2023年10月~現在 ✔ ドメイン特化型画像生成モ デル作成 ✔ 自社サービス ✔ 開発期間:2023年3月~現在 ✔ 製造工程における異常検知 システム構築 ✔ 機器メーカー ✔ 開発期間:2023年4月~ ✔ 会計文書読み取りOCRシス テム構築 ✔ M&A業界企業 ✔ 開発期間: 2022年12月~現 在 ✔ 放射線治療向け臓器セグメンテ ーションAI開発 ✔ 東北大学 ✔ 開発期間:2023年6月~現在 ✔ 広告クリエイティブ性能評 価AI開発 ✔ 広告代理店 ✔ 開発期間:- ✔ 高度専門機械学習講座 ✔ 大手自動車メーカー ✔ 開発期間: 2023年11月~2024年1月 ✔ AI開発アドバイザリー ✔ 外資系ファンド ✔ 開発期間:- ✔ 深層学習ライブラリ医療AI 向け講座 ✔ 東北大学 ✔ 開発期間: 2023年5月~現在 ✔ AI部署導入にかかる伴走型 支援・教育 ✔ 大手広告会社 ✔ 開発期間:- *: Large Language Models(大規模言語モデル)。大量データとディープラーニング技術によって構築された言語モデルを指す :提供済/中 :契約調整中
I 7 生成AIエージェントについて
I 8 生成AIエージェントについて_AIエージェントとは 生成AIエージェント(デジタルヒューマン)はLLMにより人間に近い学習プロセス・意思決 定プロセスを有しており、外部環境においてもチューニングを伴わない活動が可能 現状版との差異 基本構造 想定 活動環境 学習
プロセス 生成AIエージェント 既存のエージェント • 外部環境においても、 膨大なWeb知識イン プットによるチュー ニングを伴わない活 動が可能 • 特定環境でのみ活動 することを想定 • 外部環境での活躍に はチューニングが必 要 • LLMにより、人間に 近い学習プロセス・ 意思決定プロセスを 保有し • インタラクションに 対して継続的な学習 を行う • 人間による正解付け や報酬を設定し、学 習を行う • 報酬設計のため、単 純な問題に帰着しが ち 環境 知覚 学習 行動
I 9 生成AIエージェントについて_研究事例 2023年の5月に生成AIエージェントの研究は加速し、 現在は基幹技術・応用技術合わせて200本以上の研究論文が存在 技術分類 基幹技術 応用技術 テーマ 自己反省型モデル
• テキストを報酬とする強化学習 • 短期・中期記憶を用いてテキストを評価に変換 概要 曖昧な指示解決型モデル ※1 協力型モデル • エージェント間で自律的な協力を促す • エージェント間で役割分担させ、タスクを進行 • 曖昧な指示ではユーザに問い合わせる • 曖昧性を解消することで性能向上が見込まれる 人間のシミュラクラ (なりきり)※2 視覚情報を活用したナビ ゲーション Webタスクの遂行 • 「ポケモン」をプレイするAIエージェントを開発 • テキスト形式で強化学習を実施(対人勝率5割) • 言語指示で多様なWebタスクを遂行するAIエージェ ントを開発(情報収集などに活用可能) • 画像・言語情報によるナビゲーションをこなす AIエージェントを開発 ※1:Qian, C., He, B., Zhuang, Z., Deng, J., Qin, Y., Cong, X., ... & Sun, M. (2024). Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents. arXiv preprint ※2: Hu, S., Huang, T., & Liu, L. (2024). Pok¥'eLLMon: A Human-Parity Agent for Pok¥'emon Battles with Large Language Models. arXiv preprint
I 10 生成AIエージェントについて_ビジネス活用事例 ケーススタディ的に、医療・ヘルスケア・教育などの分野における生成AIエージェントの実 装事例が蓄積されつつある状況 電子カルテの 自動生成 テーマ • 他病院への紹介状/病歴/入院中の経過等
にかかる書類作成時間の膨大化により、 本来注力すべき業務に割く時間が短くな っていた クライアントの課題 生成AIエージェ ントによる介護 モニタリング 学習支援 コールセンター 業務の 自動対応 • LLMを医療用データベースを活用しFine-Tuningするこ とによって、電子カルテ・退院サマリの作成を自動化 することで、医師の労働時間を削減(医師1人当たり、 年間約116時間) ソリューション/バリュー • 慢性的な人材不足な介護業界では、高 齢者1人1人としっかりと向き合って 会話する時間を確保することが難しく うつ病/認知症の進行が加速していた • 介護モニタリングと呼ばれる高齢者の健康状態や、生 活状況の面談を対話AIで自動化 • 対話AIの活用により介護モニタリングの時間を7割削減 • 性格や能力の異なる学習者に対して、 1人1人のレベルに合わせたカスタマ イズされた教育プランの提供 • 性格の異なる様々な教育用のLLMエージェントを適切 に学習者と結びつけて、フィードバックやサポートを 通して、専門知識の効率的な学習を促進 • コールセンター要員にかかる人的コス トの膨大化・対応品質のばらつきが顕 在化していた • チャットボットの活用(複数言語に対応)による24時間対 応を実現し、品質向上・人的コストの削減を達成 • LLMエージェントに架空の「お客さま」に成り切っても らうことによって、様々な状況下を想定した研修が可能
I 11 生成AIエージェントについて_今後の動向 123のステップを踏まえ、生成AIエージェントは今後大規模な技術的進歩・社会課題の解決 を実現すると想定しております Step1:マルチモーダル エージェント化の推進 Step2:実社会 シミュレーションへの活用 Step3:実社会への浸透
概要 • 現在の人工知能は主にテキ ストベース • 視覚、音声、ロボットによ る物理的働きかけが重要に • 人工知能の記号と実世界の対 応付け(記号接地問題)が必 要 • 現在のLLMは一人の人間を模 倣するには知識が膨大すぎる • 現在のLLMエージェントは人 間の正しい価値観を模倣 • 多様な価値観を持つLLMの必 要性 • より少ない知識量のエージェ ント開発が必要 • AIアライメントの多様化が必 要 • 人間を模倣する生成AIエージ ェントが働く社会 • 人間が人間として本質的な活 動のみ行う • 生成AIエージェントを受け入 れる法整備が必要 課題