しずおかAIラボvol.3

Slide 1

Slide 1 text

しずおかAIラボvol.3 bbz 最近の⽣成系 AI の流れをぼんやり

Slide 2

Slide 2 text

bbz - 通称 bbz （⾺場薗）です。 - くふう AI スタジオで AX 推進部に所属しています。 - ChatGPT API が出てから LLM 沼にハマった者です。 - エンジニアです。 - 主に⾃社グループ内への AI 啓蒙活動をしています。 - ブログを書いたり Podcast やったりしてます。生成系 AI で作ったご機嫌なおじさんで本人とは一切関係ありません生成系 AI で作ったご機嫌なおじさんで本人とは一切関係ありません

Slide 3

Slide 3 text

流れが速すぎる⽣成系 AI のトレンドをぼんやり

Slide 4

Slide 4 text

とりあえず直近１か⽉くらい

Slide 5

Slide 5 text

みんな⼤好き ChatGPT - GPT-3.5-turbo-instruct モデル登場 - GPT-3.5 Turbo ﬁne-tuning 登場 - ChatGPT Enterprise の発表 - Code Interpreter が Advanced Data Analysis に名称変更 - 学習データのカットオフが 2022/01 までに延⻑された（多分） - DALL-E 3 の登場と ChatGPT インターフェースからの利⽤解放 - ChatGPT-4V の登場 - モバイルアプリにて ChatGPT との⾳声インタラクション機能が追加 - ブラウザ Plugin の復活 - そして来⽉11⽉には何かしらのアップデートがある模様、、、（内容未定）

Slide 6

Slide 6 text

すでにお腹いっぱいである

Slide 7

Slide 7 text

ChatGPT の対抗⾺ LLM となり得るか？マネージド - Claude2/Anthoropic - Gemini/Google （未リリース）ローカル - Llama2 - Mistral - XWin - ElYZA - PLaMo - etc…

Slide 8

Slide 8 text

出すぎである

Slide 9

Slide 9 text

が、やはり ChatGPT が強い

Slide 10

Slide 10 text

Nejumi LLMリーダーボード https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE 2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa

Slide 11

Slide 11 text

しかしこれは単純な基盤モデルの性能である

Slide 12

Slide 12 text

性能向上のアプローチ

Slide 13

Slide 13 text

ﬁne-tuning ChatGPT-3.5 も ﬁne-tuning できるようになったりして、学習データセットを⽤意して追加学習を⾏うことによって性能を強化して頑張るという選択肢上⼿くいけば⽤途に合わせたモデルの性能向上が⾒込めるが、いかんせん学習データを作るのが⼤変。。。学習にコストもかかる。。。

Slide 14

Slide 14 text

RLHF(⼈間のフィードバックからの強化学習) LLM の出⼒結果に対して⼈間がフィードバックすることによって、その結果に応じてより好ましい回答をするように調整していくという選択肢。（ChatGPT ではできないが、⾃前でローカル LLM をホストするなら実現できる）フィードバックを集めるのが⼤変。。。 LLM を⾃前でホストすることになるのでコストがかかる。。。

Slide 15

Slide 15 text

RAG(Retrieval-Augmented Generation) LLM モデルを強化するのではなく、LLM に与える⽂章のなかに外部データソースから関連するであろう情報をプロンプトとして埋め込んで出⼒を⽣成する⽅法。構築は少し⼿間がかかるものの効果はかなり⾼い。最近実施された LLM の Kaggle コンペの解法が参考になる。 https://www.kaggle.com/competitions/kaggle-llm-science-exam

Slide 16

Slide 16 text

⽤途によるけれど開発のトレンド的には RAG 、つまりはいかに LLM の出⼒の⾼精度にするための情報を外部 (DBなど)から取ってこれるかについて取り組まれているところが多い気がする。

Slide 17

Slide 17 text

エージェント

Slide 18

Slide 18 text

LLM の単体出⼒というよりは最終成果物に対するアプローチ LLM の基本性能の向上に対するアプローチとは少し違い、難しいタスクを⼈間の代理で計画、実⾏してくれるような存在であるエージェントの開発が活発になってきている。 (フレームワークみたいなもの)

Slide 19

Slide 19 text

インパクトのあったエージェント - Open Interpreter (特に影響が強かった) - Meta GPT - ChatDev - AutoGen - CodePlan

Slide 20

Slide 20 text

⽣成系 AI はテキスト⽣成に留まらない

Slide 21

Slide 21 text

画像

Slide 22

Slide 22 text

画像も変化が速い - SDXL/Stability AI - Fireﬂy/Adobe - DALL-E3/OpenAI - etc… 商⽤利⽤可能なものも出てきている。が、画像系は炎上しやすいのでご利⽤の際にはお気をつけて。

Slide 23

Slide 23 text

⾳声

Slide 24

Slide 24 text

⾳声もいろいろ - ElevenLabs の⾳声翻訳機能 - Podcast の⾳声翻訳機能 - Adobe のフィラー削除機能

Slide 25

Slide 25 text

⼤⼿の後押し

Slide 26

Slide 26 text

AI 機能を提供する⼤⼿が何かあったらなんとするという発表 - Microsoft - Adobe - Google リスクを懸念して AI の導⼊を断念していた企業へのハードルがかなり下がっている。

Slide 27

Slide 27 text

AI を使いやすくする機能拡充 - Azure - Copilot365 - AWS - Google Cloud - Google Workspace - Cloudﬂare - Adobe - Zoom

Slide 28

Slide 28 text

独⾃の GPU を作成していく流れ NVIDIA ⼀強が変化するか - Google - Microsoft - AWS - OpenAI - etc… 競争によるコストダウンやパフォーマンスの向上に期待

Slide 29

Slide 29 text

今後

Slide 30

Slide 30 text

今後⼀年くらいでどうなるかなぁ - LLM の成熟、特にマルチモーダル機能の発達により⼈間が⾏っている作業の AI 化が加速する - ⼤⼿の後押しもあり、⽇本においては企業の AI 利⽤が加速 - チップやハードウェア、LLM モデルの進化によってより軽量で⾼性能な AI が誕⽣する - エッジでの動作が可能になる - 検索‧推薦技術の向上 - エージェントの開発が活性化 - 新しいセキュリティの観点が誕⽣ - AI の評価基準、法律が整備されていく

Slide 31

Slide 31 text

State of AI Report 2023 毎年出されている AI 関連のレポートが出てたりするので⾒てみるとよいかもです https://www.stateof.ai/2023-report-launch

Slide 32

Slide 32 text

End