LLMアプリケーションの作り方

Transcript

1. ChatGPTでバズ ワードになった 生成AIのアプリケ ーション活用 2024年6月19日 LLMアプリケーション の作り方
2. はじめに このスライドに数式は一つも出 てきません。 今日の内容はアプリ開発者の目線で LLMについて見えている内容です。 厳密に言ったら間違ってる事が あるかもですがご容赦...
3. 1 2 3 前提知識 Appleの発表 まとめ 目次 アプリケーション開発者 としてAI(LLM)を使う時 の視点を共有したい
4. 前提知識 1 LLMとは 2 LLMアプリの開発 3 SLMの流れ STEP1: LLMとは→
5. ステップ1:LLMとは ChatGPTの内部で動いているAI Learge Language Model（大規模言語モデル） パラメータ数、学習量→
6. GPT3のパラメータ数、学習量 パラメータ：175b(1750億) 学習量：570GB以上(人間が一生かけても読めない) 加速度的な肥大化→
7. Momentum Works 2023 “The future by ChatGPT”より引用
8. なぜ肥大化 Scaling Laws for Neural Language Modelsより引用
9. 次単語予測をしているだけだが 圧倒的な知識量と経験的な自然言語の構文の会得 知能を獲得して文章を生成しているように振る舞う LLMは全く新しい金を生みそう 僕らエンジニアの出番
10. 前提知識 1 LLMとは 2 LLMアプリの開発 3 SLMの流れ STEP2: LLMアプリの開発→
11. ステップ2:LLMアプリの開発 1.パラメータの更新あり 　コスト大 自由度大 2.パラメータの更新なし 　 コスト小 自由度小 パラメータ更新あり→
12. パラメータ更新あり 1.PreTuning(事前学習) 　自己教師なし学習(膨大なインターネット上のデータ) 　汎用性を獲得 2.FineTuning(事後学習) 　教師あり学習(人手で作成するデータ) 　特定のドメインの知識を獲得してタスクに順応 事例紹介→
13. 事例紹介：ドメイン特化モデル コストかかりすぎ→ 医療分野 Med-PaLM Google ResearchとDeepMindが共同で開発した 医療に特化した言語モデル 医療データセットを用いて訓練されていて、医学的な 質問に対する正確な回答を生成することができる
14. Fine Tuningするほどお金かけれない でも新しい知識を導入したい コストかかりすぎ パラメータ更新なし→ 医療のような大層なものでなくとも、 会社の内部情報をなんでも知っていて回答できるなど
15. パラメータ更新なし RAGとは→ RAG(Retrieval Augmented Generation) In Context Learning(文脈内学習)
16. RAGとは 入力 出力 入力と関連のあるデータ (低コストに新しい知識の導入) 事例紹介→
17. 事例紹介：NotebookLM Googleが開発したAIツールで、 ユーザーのメモ書きやアップロードした資料を基に 情報を整理し、質問に答えることができる。 資料以外の情報を使って回答しない＆ 回答を生成するのにどの文書のどこを参照したか 明示的にしめすようにできているのでハルシネーションなし
18. 前提知識 1 LLMとは 2 LLMアプリの開発 3 SLMの流れ SETP3:SLMの流れ→
19. STEP3:SLMの流れ モデルが小さく→ 性能向上を求めてモデルの肥大化が止まらず、 必要な学習コスト、推論コストが膨れ上がる。 GPT-3.5 Turbo : Input $0.50 / 1M tokens GPT-4 Turbo : Input $10.00 / 1M tokens 参考：OpenAIのAPIコスト(2024/06/15現在)
20. モデルが小さく Phi3の性能→ 高性能な小規模のモデルが活発に研究されている。 最近特にMicrosoftのPhi3が衝撃的だった GPT-3.5 : 175B以上 Phi3-mini : 約3.8B 参考：
21. Phi3の性能 Phi-3 Technical Reportより引用 一部抜粋
22. ついにローカルへ 3Bとか10数Bくらいのモデルは普通の ローカルPCでぎり動く。 3BならiPhoneのような性能のよいスマホで 動いちゃう(らしい)。 みんなのポケットにChatGPT爆誕
23. 以上、事前知識
24. さあ、Appleの発表へ アプリケーション開発者 としてAI(LLM)を使う時 の視点を共有したい
25. Apple Intelligence
26. Apple Intelligence
27. AI
28. Apple Intelligenceとは オンデバイス(iPhone上)で動く、 パワフルなパーソナル人工知能システム システム全体の機能やアプリに深く統合され、 言語や画像を理解、生成しユーザの操作を助ける プライバシー重視
29. スマホで動くだと... 3Bの言語モデル(phi3-miniと同じぐらい) 16bit -> 平均4bitの量子化 Apple SiliconによるAI処理
30. 多様なタスクへの対応 WWDC24: Platforms State of the Union | Appleより引用
31. デバイス上の情報を利用 Apple Intelligence | Privacyより引用
32. なにができるのか
33. Siriの進化 ユーザの指示を受け取り、 デバイス上の情報(いつ誰にどんなメッセージを送ったか) に基づいて複数のアプリケーションを連携することで ユーザのやりたいことを達成する。
34. 例： ユーザ Siri お母さんの飛行機の着陸はいつですか？ あなたのお母さんは11:18 AMに着陸します。
35. なにをしてる ユーザ お母さんの飛行機の着陸はいつですか？ 1.お母さんとは誰なのか、過去の情報を元に特定 2.メールからフライトの詳細情報を参照 ステップ
36. アプリ開発者がすること
37. アプリとSiriの連携 アプリはSiriに対してアクセス可能な機能を提供する （キーワードでメールを検索、共有など） 僕らもSiriがアクセス可能な機能の開発が出来る
38. 今までとは違う概念のアプリ ホーム画面に配置する目に見えるアプリではなく、 機能をSiriに提供するという形のアプリケーション (ホーム画面には配置しない) こっちのが人の認知コストすくないかも
39. まとめ
40. LLMアプリケーションの要点 LLMに解かせたいタスクがある時に、 LLMが持つ知能では足りないことが多くある。(色んな意味で) アプリケーションにするために必要になることは、 追加の知識、能力(機能)を与えてあげること その手法は沢山あるし、沢山研究されている
41. LLMアプリケーションの要点 具体的な手法は Fine Tuning や RAG 最初に実装してみるなら、ナイーブなRAGがおすすめ (ナイーブでないRAGは研究で超ホット) RAGの実装はインフラに吸収される流れ
42. ちなみに 日常生活に浸透するタスク管理を 人とAIが共に行うアプリケーションの開発をしてます 理想形 膨大なタスクから効率がよいとAIが思う タスクの組み合わせ、タイミングを人に提案 人のフィードバックによりパーソナライズ
43. v1.0 既存のアプリと連携して高速に開発し AIによるtodo推奨という新しい体験の刺さり具合を検証 Googleカレンダーの空き時間に対して Google todoリストの中からAIがオススメのtodoを選ぶ
44. 協力者もとむ アプリケーションとして人が触れるようにするのは 僕とエンジニアメンバーが遂行します。 内部の知能的な処理の実装を共に進めるエンジニアもとむ！
45. ありがとうございました