しずおかAIラボvol.3

Transcript

1. しずおかAIラボvol.3 bbz 最近の⽣成系 AI の流れをぼんやり
2. bbz - 通称 bbz （⾺場薗）です。 - くふう AI スタジオで AX 推進部に所属しています。 - ChatGPT API が出てから LLM 沼にハマった者です。 - エンジニアです。 - 主に⾃社グループ内への AI 啓蒙活動をしています。 - ブログを書いたり Podcast やったりしてます。 生成系 AI で作ったご機嫌なおじさん で本人とは一切関係ありません 生成系 AI で作ったご機嫌なおじさん で本人とは一切関係ありません
3. 流れが速すぎる⽣成系 AI のトレンドをぼんやり
4. とりあえず直近１か⽉くらい
5. みんな⼤好き ChatGPT - GPT-3.5-turbo-instruct モデル登場 - GPT-3.5 Turbo fine-tuning 登場 - ChatGPT Enterprise の発表 - Code Interpreter が Advanced Data Analysis に名称変更 - 学習データのカットオフが 2022/01 までに延⻑された（多分） - DALL-E 3 の登場と ChatGPT インターフェースからの利⽤解放 - ChatGPT-4V の登場 - モバイルアプリにて ChatGPT との⾳声インタラクション機能が追加 - ブラウザ Plugin の復活 - そして来⽉11⽉には何かしらのアップデートがある模様、、、（内容未定）
6. すでにお腹いっぱいである
7. ChatGPT の対抗⾺ LLM となり得るか？ マネージド - Claude2/Anthoropic - Gemini/Google （未リリース） ローカル - Llama2 - Mistral - XWin - ElYZA - PLaMo - etc…
8. 出すぎである
9. が、やはり ChatGPT が強い
10. Nejumi LLMリーダーボード https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE 2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa
11. しかしこれは単純な基盤モデルの性能である
12. 性能向上のアプローチ
13. fine-tuning ChatGPT-3.5 も fine-tuning できるようになったりして、学習データセットを⽤意して 追加学習を⾏うことによって性能を強化して頑張るという選択肢 上⼿くいけば⽤途に合わせたモデルの性能向上が⾒込めるが、いかんせん学習データを 作るのが⼤変。。。 学習にコストもかかる。。。
14. RLHF(⼈間のフィードバックからの強化学習) LLM の出⼒結果に対して⼈間がフィードバックすることによって、その結果に応じてよ り好ましい回答をするように調整していくという選択肢。 （ChatGPT ではできないが、⾃前でローカル LLM をホストするなら実現できる） フィードバックを集めるのが⼤変。。。 LLM を⾃前でホストすることになるのでコストがかかる。。。
15. RAG(Retrieval-Augmented Generation) LLM モデルを強化するのではなく、LLM に与える⽂章のなかに外部データソースから関 連するであろう情報をプロンプトとして埋め込んで出⼒を⽣成する⽅法。 構築は少し⼿間がかかるものの効果はかなり⾼い。 最近実施された LLM の Kaggle コンペの解法が参考になる。 https://www.kaggle.com/competitions/kaggle-llm-science-exam
16. ⽤途によるけれど 開発のトレンド的には RAG 、つまりはいかに LLM の出⼒の⾼精度にするための情報を 外部 (DBなど)から取ってこれるかについて取り組まれているところが多い気がする。
17. エージェント
18. LLM の単体出⼒というよりは最終成果物に対するアプローチ LLM の基本性能の向上に対するアプローチとは少し違い、難しいタスクを⼈間の代理で 計画、実⾏してくれるような存在であるエージェントの開発が活発になってきている。 (フレームワークみたいなもの)
19. インパクトのあったエージェント - Open Interpreter (特に影響が強かった) - Meta GPT - ChatDev - AutoGen - CodePlan
20. ⽣成系 AI はテキスト⽣成に留まらない
21. 画像
22. 画像も変化が速い - SDXL/Stability AI - Firefly/Adobe - DALL-E3/OpenAI - etc… 商⽤利⽤可能なものも出てきている。 が、画像系は炎上しやすいのでご利⽤の際にはお気をつけて。
23. ⾳声
24. ⾳声もいろいろ - ElevenLabs の⾳声翻訳機能 - Podcast の⾳声翻訳機能 - Adobe のフィラー削除機能
25. ⼤⼿の後押し
26. AI 機能を提供する⼤⼿が何かあったらなんとするという発表 - Microsoft - Adobe - Google リスクを懸念して AI の導⼊を断念していた企業へのハードルがかなり下がっている。
27. AI を使いやすくする機能拡充 - Azure - Copilot365 - AWS - Google Cloud - Google Workspace - Cloudflare - Adobe - Zoom
28. 独⾃の GPU を作成していく流れ NVIDIA ⼀強が変化するか - Google - Microsoft - AWS - OpenAI - etc… 競争によるコストダウンやパフォーマンスの向上に期待
29. 今後
30. 今後⼀年くらいでどうなるかなぁ - LLM の成熟、特にマルチモーダル機能の発達により⼈間が⾏っている作業の AI 化 が加速する - ⼤⼿の後押しもあり、⽇本においては企業の AI 利⽤が加速 - チップやハードウェア、LLM モデルの進化によってより軽量で⾼性能な AI が誕⽣ する - エッジでの動作が可能になる - 検索‧推薦技術の向上 - エージェントの開発が活性化 - 新しいセキュリティの観点が誕⽣ - AI の評価基準、法律が整備されていく
31. State of AI Report 2023 毎年出されている AI 関連のレポートが出てたりするので⾒てみるとよいかもです https://www.stateof.ai/2023-report-launch
32. End