Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今、知っておきたい! 生成AIエージェントの世界
Search
Elith
April 05, 2024
Programming
3
740
今、知っておきたい! 生成AIエージェントの世界
Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3
で登壇した時の資料です。
Elith
April 05, 2024
Tweet
Share
More Decks by Elith
See All by Elith
[ECCV2024読み会] 衛星画像からの地上画像生成
elith
1
660
生成AI グローバルトレンド実務で活かす新規事業構築の5つの方法
elith
0
100
マルチモーダルLLMがもたらすビジネス革新と技術解説
elith
2
520
LLMに医療知識をつけるには
elith
5
1.3k
放射線分野の問題をLLMに解かせてみた
elith
1
630
Data Is All You Need
elith
0
190
[CVPR 2023 論文紹介]Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
elith
0
400
画像を用いた論文解説の可能性
elith
1
1.1k
Other Decks in Programming
See All in Programming
【Kaigi on Rails 2024】YOUTRUST スポンサーLT
krpk1900
1
330
エンジニアとして関わる要件と仕様(公開用)
murabayashi
0
280
Make Impossible States Impossibleを 意識してReactのPropsを設計しよう
ikumatadokoro
0
170
よくできたテンプレート言語として TypeScript + JSX を利用する試み / Using TypeScript + JSX outside of Web Frontend #TSKaigiKansai
izumin5210
6
1.7k
シールドクラスをはじめよう / Getting Started with Sealed Classes
mackey0225
4
640
Ethereum_.pdf
nekomatu
0
460
3 Effective Rules for Using Signals in Angular
manfredsteyer
PRO
1
100
CSC509 Lecture 11
javiergs
PRO
0
180
リアーキテクチャxDDD 1年間の取り組みと進化
hsawaji
1
220
聞き手から登壇者へ: RubyKaigi2024 LTでの初挑戦が 教えてくれた、可能性の星
mikik0
1
130
Amazon Bedrock Agentsを用いてアプリ開発してみた!
har1101
0
330
CSC509 Lecture 09
javiergs
PRO
0
140
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Bash Introduction
62gerente
608
210k
Automating Front-end Workflow
addyosmani
1366
200k
Producing Creativity
orderedlist
PRO
341
39k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
Transcript
I Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3 今、知っておきたい! 生成AIエージェントの世界 株式会社Elith
I 2 アジェンダ 本日は下記アジェンダに沿ってお話させていただきます ▪ Elithについて ✔ 登壇者自己紹介 ✔ 会社概要
✔ 案件ポートフォリオ(一部)のご紹介 ▪ 生成AIエージェントについて ✔ 生成AIエージェントとは ✔ 研究事例 ✔ ビジネス活用事例 ✔ 今後の動向
I 3 Elithについて
I 4 Elithについて_登壇者自己紹介 井上 顧基 Inoue Koki ファウンダー& CTO 【略歴】
• 北陸先端科学技術大学院大学にて、量子コン ピュータの材料探索にかかる研究で修士号を 取得 • 大手部品メーカーへ新卒入社後、AIベンダー などを経てAI開発に関わる多様な業務を経験 • 起業と同時期に、東北大学医学系研究科に進 学し、医学物理分野での医療AI研究に従事中 (博士後期課程) • 医学物理のトップカンファレンスである AAPMで採択された実績あり 【AIをはじめたきっかけ】 • 自己の深淵を探究したいという欲求が昔からあった • 更なる自己の真髄を解明するために、人間への敬意を基 盤とした医学的観点と、人間の機能を模倣するAIの工学 的観点の双方から、人間存在の神髄に迫ろうと考えた 本日はCTOの井上からElithにかかる研究/ビジネス事例をご紹介いたします。 AI資格試験の 企画支援・ 書籍/論文執筆の 実績
I 5 Elithについて_会社概要 Elithは『オートクチュ々ルなAI開発を通じてAIを身近な存在に変え、 ビジネスの加速と資本サイクルの活性化を実現する』ことをミッションとし、 AI受託開発/研究コンサルティングなど幅広い事業を展開しています ミッション 事業内容 ①AI受託開発 ②研究
コンサルティング ③自社サービス • POCからデプロイにかかる開発 をワンストップでご支援 • 顧客の課題解消に向けたオート クチュールなAI開発が可能 • 開発チームへの研修や弊社技術 顧問(書籍/論文執筆の実績あり) による伴走型ご支援 • 医療音声データセット販売 • 画像生成AIアプリケーション • 手話AI 東京大学・松尾研 究発スタートアッ プとして高い技術 力を持つ企業 社会貢献に寄与す る意思を持った 人材 様々な業界におけ る企業課題に対し、 AIによるソリュー ションを提供し、 ビジネスを加速
I 6 Elithについて_案件ポートフォリオ(一部)のご紹介 多様な業種の企業にソリューションをご提供。SX事例としてクライアントの成長に持続的に 寄与しています ソリューションテーマ 利活用 LLM* 画像AI AI教育/
アドバイザリー クライアント業種 製造・ インフラ 金融 医療 メディア 生成AI ✔ 画像説明文作成 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ M&A契約書にかかる文書生 成 ✔ 外資系ファンド ✔ 開発期間:2023年9月~現在 ✔ カルテ形式の文書分類 ✔ 医療事業部門(インフラ) ✔ 開発期間:2023年11月 ~2024年1月 ✔ 広告文書生成 ✔ 大手広告会社 ✔ 開発期間:- ✔ マルチモーダルLLM構築 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ 金融特化LLM構築 ✔ 証券会社 ✔ 開発期間:- ✔ 放射線特化LLM構築 ✔ 東北大学・藤田医科大学 ✔ 開発期間:2023年10月~現在 ✔ ドメイン特化型画像生成モ デル作成 ✔ 自社サービス ✔ 開発期間:2023年3月~現在 ✔ 製造工程における異常検知 システム構築 ✔ 機器メーカー ✔ 開発期間:2023年4月~ ✔ 会計文書読み取りOCRシス テム構築 ✔ M&A業界企業 ✔ 開発期間: 2022年12月~現 在 ✔ 放射線治療向け臓器セグメンテ ーションAI開発 ✔ 東北大学 ✔ 開発期間:2023年6月~現在 ✔ 広告クリエイティブ性能評 価AI開発 ✔ 広告代理店 ✔ 開発期間:- ✔ 高度専門機械学習講座 ✔ 大手自動車メーカー ✔ 開発期間: 2023年11月~2024年1月 ✔ AI開発アドバイザリー ✔ 外資系ファンド ✔ 開発期間:- ✔ 深層学習ライブラリ医療AI 向け講座 ✔ 東北大学 ✔ 開発期間: 2023年5月~現在 ✔ AI部署導入にかかる伴走型 支援・教育 ✔ 大手広告会社 ✔ 開発期間:- *: Large Language Models(大規模言語モデル)。大量データとディープラーニング技術によって構築された言語モデルを指す :提供済/中 :契約調整中
I 7 生成AIエージェントについて
I 8 生成AIエージェントについて_AIエージェントとは 生成AIエージェント(デジタルヒューマン)はLLMにより人間に近い学習プロセス・意思決 定プロセスを有しており、外部環境においてもチューニングを伴わない活動が可能 現状版との差異 基本構造 想定 活動環境 学習
プロセス 生成AIエージェント 既存のエージェント • 外部環境においても、 膨大なWeb知識イン プットによるチュー ニングを伴わない活 動が可能 • 特定環境でのみ活動 することを想定 • 外部環境での活躍に はチューニングが必 要 • LLMにより、人間に 近い学習プロセス・ 意思決定プロセスを 保有し • インタラクションに 対して継続的な学習 を行う • 人間による正解付け や報酬を設定し、学 習を行う • 報酬設計のため、単 純な問題に帰着しが ち 環境 知覚 学習 行動
I 9 生成AIエージェントについて_研究事例 2023年の5月に生成AIエージェントの研究は加速し、 現在は基幹技術・応用技術合わせて200本以上の研究論文が存在 技術分類 基幹技術 応用技術 テーマ 自己反省型モデル
• テキストを報酬とする強化学習 • 短期・中期記憶を用いてテキストを評価に変換 概要 曖昧な指示解決型モデル ※1 協力型モデル • エージェント間で自律的な協力を促す • エージェント間で役割分担させ、タスクを進行 • 曖昧な指示ではユーザに問い合わせる • 曖昧性を解消することで性能向上が見込まれる 人間のシミュラクラ (なりきり)※2 視覚情報を活用したナビ ゲーション Webタスクの遂行 • 「ポケモン」をプレイするAIエージェントを開発 • テキスト形式で強化学習を実施(対人勝率5割) • 言語指示で多様なWebタスクを遂行するAIエージェ ントを開発(情報収集などに活用可能) • 画像・言語情報によるナビゲーションをこなす AIエージェントを開発 ※1:Qian, C., He, B., Zhuang, Z., Deng, J., Qin, Y., Cong, X., ... & Sun, M. (2024). Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents. arXiv preprint ※2: Hu, S., Huang, T., & Liu, L. (2024). Pok¥'eLLMon: A Human-Parity Agent for Pok¥'emon Battles with Large Language Models. arXiv preprint
I 10 生成AIエージェントについて_ビジネス活用事例 ケーススタディ的に、医療・ヘルスケア・教育などの分野における生成AIエージェントの実 装事例が蓄積されつつある状況 電子カルテの 自動生成 テーマ • 他病院への紹介状/病歴/入院中の経過等
にかかる書類作成時間の膨大化により、 本来注力すべき業務に割く時間が短くな っていた クライアントの課題 生成AIエージェ ントによる介護 モニタリング 学習支援 コールセンター 業務の 自動対応 • LLMを医療用データベースを活用しFine-Tuningするこ とによって、電子カルテ・退院サマリの作成を自動化 することで、医師の労働時間を削減(医師1人当たり、 年間約116時間) ソリューション/バリュー • 慢性的な人材不足な介護業界では、高 齢者1人1人としっかりと向き合って 会話する時間を確保することが難しく うつ病/認知症の進行が加速していた • 介護モニタリングと呼ばれる高齢者の健康状態や、生 活状況の面談を対話AIで自動化 • 対話AIの活用により介護モニタリングの時間を7割削減 • 性格や能力の異なる学習者に対して、 1人1人のレベルに合わせたカスタマ イズされた教育プランの提供 • 性格の異なる様々な教育用のLLMエージェントを適切 に学習者と結びつけて、フィードバックやサポートを 通して、専門知識の効率的な学習を促進 • コールセンター要員にかかる人的コス トの膨大化・対応品質のばらつきが顕 在化していた • チャットボットの活用(複数言語に対応)による24時間対 応を実現し、品質向上・人的コストの削減を達成 • LLMエージェントに架空の「お客さま」に成り切っても らうことによって、様々な状況下を想定した研修が可能
I 11 生成AIエージェントについて_今後の動向 123のステップを踏まえ、生成AIエージェントは今後大規模な技術的進歩・社会課題の解決 を実現すると想定しております Step1:マルチモーダル エージェント化の推進 Step2:実社会 シミュレーションへの活用 Step3:実社会への浸透
概要 • 現在の人工知能は主にテキ ストベース • 視覚、音声、ロボットによ る物理的働きかけが重要に • 人工知能の記号と実世界の対 応付け(記号接地問題)が必 要 • 現在のLLMは一人の人間を模 倣するには知識が膨大すぎる • 現在のLLMエージェントは人 間の正しい価値観を模倣 • 多様な価値観を持つLLMの必 要性 • より少ない知識量のエージェ ント開発が必要 • AIアライメントの多様化が必 要 • 人間を模倣する生成AIエージ ェントが働く社会 • 人間が人間として本質的な活 動のみ行う • 生成AIエージェントを受け入 れる法整備が必要 課題