Databricksで構築する初めての複合AIシステム - ML15min

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary 自己紹介弥生隆明 (やよいたかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Databricks Certiﬁed (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary 10,000+ のグローバル顧客 $1.5B+ の収益 $4B の投資レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニーのクリエイター

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary 複合AIシステム(Compound AI system) 複合AIシステムは、インタラクションする複数のコンポーネントを組み合わせることで課題に取り組むシステムです。対照的に、テキストの次のトークンを予測するTransformerのようなAIモデルは単なる統計モデルです。複合AIシステムは、そのパフォーマンスと柔軟性により、AIアプリケーションの設計パターンとしてますます一般的になっています。複合AIシステム

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary AIエージェントこの業界ではまだAIエージェントを定義している最中ですが、一般的にはハードコードされたロジックとは対照的に、モデルが計画決定の一部またはすべてを行うAIシステムとして理解されています。これらのエージェントは、大規模言語モデル (LLM) を活用して意思決定を行い、目的を達成します。多くのAIエージェントアプリケーションは複数のシステムで構成されているため、複合AIシステムとして見なすことができます。複合AI システムエージェントアプリケーション

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary ツール AI エージェントは、構造化・非構造化データの取得、コードの実行、 EメールやSlackメッセージの送信などのリモートサービスとの会話など、言語生成以外のアクションを実行するためのツールを使用します。一般的なエージェントワークフローでは、エージェントLLMには、ツールに関するメタデータが与えられ、それを使用してツールをいつ、どのように使用するかを決定します。したがって、ツールを定義するときは、エージェント LLM がツールを最大限に活用できるように、ツール、そのパラメーター、および戻り値が十分に文書化されていることを確認する必要があります。

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary AIシステムの進化 LLM + ツールチェーン : その後、開発者はハードコードされたツールを追加して、LLMの機能を拡張しました。たとえば、RAG(Retrieval Augmented Generation)はカスタムの文書を使用して LLMのナレッジベースを拡張し、API ツールによってLLMはサポートチケットの作成や電子メールの送信などのタスクを実行できるようになりました。 LLM + ハードコードされたツールユーザークエリーのパース関連文書の検索プロンプトの拡張レスポンスの生成

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary AIシステムの進化 AIエージェント : 現在、AIエージェントは、問題に対する理解に基づいて自律的に計画を作成し、タスクを実行します。 AIエージェントはまだツールを使用していますが、どのツールをいつ使用するかは彼ら次第です。主な違いは、複合AI システムと比較した自律性と意思決定能力のレベルにあります AIエージェントユーザー LLM + ツール計画 +

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary AIエージェントの例顧客サービス: AIを利用したチャットボット (カスタマーサービス) は、ユーザーと対話し、自然言語を理解し、適切な応答を提供したり、タスクを実行したりします。企業は顧客サービスのためにAI チャットボットを使用して、問い合わせに回答したり、製品情報を提供したり、トラブルシューティングを支援しています。製造業の予知保全 : AIエージェントは、単に機器の故障を予測したり、交換品を注文して自律的に対応したり、メンテナンスをスケジュールしてダウンタイムを削減し、生産性を向上させたりするだけでなく、さまざまなことを行うことができます。

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2024 Databricks Inc. — All rights reserved Agent Framework & Agent Evaluation Mosaic AI Agent Evaluation Mosaic AI Agent Framework • エージェントを評価するためにプロプライエタリなLLMジャッジを活用 • Mosaic ResearchではこれらのLLM審判を高品質にするために投資しています • レーテンシーやトークンのコストのようなパフォーマンスメトリクスを収集 • Agent Frameworkと独立して活用可能 • エージェントを作成、MLﬂowで記録 • 1行のコードでエージェントをモデルサービングエンドポイントにデプロイ • ステークホルダーからフィードバックを収集するためのレビューアプリを自動で作成 MLﬂow、Unity Catalog、Mosaic AIと密連携