Databricksで構築する初めての複合AIシステム - ML15min

以下の内容でご説明した資料です。

- 複合AIシステム
- AIエージェント
- ツール
- AIシステムの進化
- AIエージェントの例
- Databricksの複合AIシステム構築アプローチ

デモの内容はこちらで説明しています。
https://qiita.com/taka_yayoi/items/12e2b2fc389db1a87708

Transcript

1. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 1 データブリックス・ジャパン 弥生 隆明 Databricksで構築する 初めての複合 AIシステム
2. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 自己紹介 弥生 隆明 (やよい たかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 前職はコンサルファーム、総合電機メー カーにてデータ分析・Web サービス構築などに従事。インド赴任経験 あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki
3. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 登録はこちらから！ 3
4. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 10,000+ のグローバル顧客 $1.5B+ の収益 $4B の投資 レイクハウス の発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニー のクリエイター
5. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 1. 複合AIシステム 2. AIエージェント 3. ツール 4. AIシステムの進化 5. AIエージェントの例 6. Databricksの複合AIシステム構築アプローチ 5
6. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 複合AIシステム(Compound AI system) 複合AIシステムは、インタラクション する複数のコンポーネントを組み合わせ る ことで課題に取り組むシステムです。 対照的に、テキストの次のトークンを予測す るTransformerのようなAIモデルは単なる 統計モデルです。 複合AIシステムは、そのパフォーマンスと柔 軟性により、AIアプリケーションの設計パ ターンとしてますます一般的になっていま す。 複合AIシステム
7. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary AIエージェント この業界ではまだAIエージェントを定義している 最中ですが、一般的にはハードコード されたロジックとは対照的に、モデルが計画 決定の一部またはすべてを行うAIシステムと して理解されています。 これらのエージェントは、大規模言語モデル (LLM) を活用して意思決定を行い、目的を達成 します。多くのAIエージェントアプリケーションは 複数のシステムで構成されて いるため、複合AIシステムとして見なすことがで きます。 複合AI システム エージェント アプリケーション
8. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary ツール AI エージェントは、構造化・非構造化データの取得、コードの実行、 EメールやSlackメッセージの送信などのリモートサービスとの会話など、 言語生成以外のアクションを実行するためのツールを使用します。 一般的なエージェントワークフローでは、エージェントLLMには、ツールに関するメタ データが与えられ、それを使用してツールをいつ、どのように 使用するかを決定します。 したがって、ツールを定義するときは、 エージェント LLM がツールを最大限に活用できるように、ツール、その パラメーター、および戻り値が十分に文書化されていることを確認する必要があり ます。
9. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary AIシステムの進化 LLM: 当初、大規模言語モデルは、膨大なトレーニング データセット からの知識に基づいてプロンプトに応答するだけでした。 ユーザー 大規模言語モデル (LLM)
10. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary AIシステムの進化 LLM + ツールチェーン : その後、開発者はハードコードされたツールを 追加して、LLMの機能を拡張しました。 たとえば、RAG(Retrieval Augmented Generation)はカスタムの文書を使用して LLMのナレッジベースを拡張し、API ツールによってLLMはサポートチケットの作成や 電子メールの送信などのタスクを実行できるようになりました。 LLM + ハードコードされたツール ユーザー クエリーの パース 関連文書 の検索 プロンプト の拡張 レスポンス の生成
11. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary AIシステムの進化 AIエージェント : 現在、AIエージェントは、問題に対する理解に基づいて自律的 に計画を作成し、タスクを実行します。 AIエージェントはまだツールを使用して いますが、どのツールをいつ使用するかは彼ら次第です。 主な違いは、複合AI システムと比較した自律性と意思決定能力の レベルにあります AIエージェント ユーザー LLM + ツール 計画 +
12. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary AIエージェントの例 顧客 サービス: AIを利用したチャットボット (カスタマーサービス) は、 ユーザーと対話し、自然言語を理解し、適切な応答を提供したり、タスクを実行 したりします。 企業は顧客サービスのためにAI チャットボットを使用して、問い 合わせに回答したり、製品情報を提供したり、トラブルシューティングを支援して います。 製造業の予知保全 : AIエージェントは、単に機器の故障を予測したり、 交換品を注文して自律的に対応したり、メンテナンスをスケジュールしてダウン タイムを削減し、生産性を向上させたりするだけでなく、さまざまなことを行うこと ができます。
13. ©2024 Databricks Inc. — All rights reserved 13 しかし、高品質で正確なエージェントの作成は 困難です 品質を評価するためのメトリクスの選択 が困難 人間のフィードバックを効率的に収集 することが困難 品質問題の根本原因の特定 が困難 プロダクション目標に到達するようにエージェント品質改善の迅速な試行錯誤 が困難
14. ©2024 Databricks Inc. — All rights reserved 品質の改善 デプロイ 要件の収集 監視 ベースラインの 計測 POCのデプロイ Databricks における評価ドリブン開発のワークフロー 14 評価セット
15. ©2024 Databricks Inc. — All rights reserved Agent Framework & Agent Evaluation Mosaic AI Agent Evaluation Mosaic AI Agent Framework • エージェントを評価するためにプロ プライエタリなLLMジャッジを活用 • Mosaic ResearchではこれらのLLM審判を高 品質にするために投資しています • レーテンシーやトークンのコストの ようなパフォーマンスメトリクスを 収集 • Agent Frameworkと独立して活用可能 • エージェントを作成、MLflowで記録 • 1行のコードでエージェントを モデルサービングエンドポイントにデプロ イ • ステークホルダーからフィードバックを収 集するためのレビューアプリを自動で作 成 MLflow、Unity Catalog、Mosaic AIと密連携
16. ©2024 Databricks Inc. — All rights reserved 品質の改善 デプロイ 監視 フィードバックの 収集 POCのデプロイ Databricks における評価ドリブン開発ワークフロー 16 評価セット Agent Framework Agent Evaluation Agent Framework AI Playground
17. ©2023 Databricks Inc. — All rights reserved Thank you