SambaNovaとDatabricksで高速Agentの構築

Transcript

1. ネットワンシステムズ 株式会社 SambaNovaとDatabrickで高速Agentの構築
2. 1 ® Net One Systems Co., Ltd. All rights reserved. 会社紹介と自己紹介 社名 ネットワンシステムズ株式会社 （Net One Systems Co., Ltd.） 設立 1988年2月1日 代表者 代表取締役 竹下 隆史 本社 〒100-7025 東京都千代田区丸の内二丁目7番2号 JPタワー 資本金 122億79百万円（2025年3月31日現在） 社員数（連結） 2,661人（2025年3月31日現在） 売上高（連結） 2325億300万円（2025年3月期） 事業内容 • 世界の最先端技術を取り入れた情報インフラ構築とそれ らに関連したサービスの提供 • 戦略的なICT利活用を実現するノウハウの提供 荒牧 大樹 ビジネス開発本部本部 イノベーション推進部 • 業務 : AI/データ分析 • 経歴 : • 2001年04月 ベンチャー企業に入社 • 2007年08月 ネットワンシステムズ株式会社入社 • ビデオ会議等のCollaboration製品担当を経て、 OpenStack等の仮想基盤を担当。現在は主にデータ基 盤・AI・データ分析・LLMを担当 • 講演 • Databricks 基盤に構築した生成AI -RAG の活用と業務への組み 込み- (Data+AI Summit Tokyo) • 共著論文 • 多変量時系列変数マルチチャネル変換画像分類における深層学習 の適用(2019年: 人工知能学会) • 加速度信号を用いた溶接ロボットの異常検知モデルの開発(2021 年: 自動車技術学会) • マルチモーダルセンシングを活用したリモートワーク状況下のス トレス分析(2023年:人工知能学会)
3. 2 ® Net One Systems Co., Ltd. All rights reserved. NetOne SystemsとSambaNova • SambaNova本社を訪問(隣はゴルフコース。ゴルフコースのレストランでランチ） • SambaNovaと、NetOne USAでアレンジで、お客様のSambaNova本社訪問も可能 • SambaNova CloudのManaged Subscriptionを購入してテスト中
4. 3 ® Net One Systems Co., Ltd. All rights reserved. Databricksとは • 2013年Apache Sparkの開発者によって創業された会社。教授と院生で構成。 • 分散処理のSparkをCloudで提供する所から始まり、MLFlow(機械学習)、Unity Catalog(データカタログ)、Mosaic AI(生成AI)をリリースしてデータ分析基盤としての地 位を確立 • 今年はRDB（Lakebase) / ETL（Lakeflow) / BI(AI/BI)の領域に進出して、データ基盤 の会社へ変貌を遂げつつある
5. 4 ® Net One Systems Co., Ltd. All rights reserved. 海外では意外と多いオープンモデルの本番利用 Databricks Data+AI Summit 2025のユースケースより Prada Crisis Text Line オープンモデル利用やオープンモデルのFine Tuningが一般的になりつつある • 命の電話のテキスト版。テキストで送られてくる悩み に対して人が対応 • 対応は人が基本。DatabricksとLLMを補助的な部分で 活用 • スタッフへの割り当てや、優先度付け、トレーニング 等に生成AIを利用している • 役割毎にFine Tuneした、中程度サイズのLLMを利用 している • 対応者のトレーニング用のLLMはLlama ８BをFine Tuneしたモデルを使用している • 評価での活用。XLM-RoBERTで分類。Phi3 3.8Bでの 内容の問い合わせ。 • 社内での商品検索のシステムにDatabricksを活 用したRAGシステムを構築 • 自然言語での何が欲しいかを入れると関連した 製品を推奨してくれる • LLMからのキーワード抽出での検索と、セマン ティック検索を組み合わせて検索して、結果を LLM使って再構成している • Llama3.1を利用して回答を何度かチェックして ハルシネーションを防いでいる • 推薦システムと組み合わせて回答を返している https://www.databricks.com/dataaisummit/session/amplifying-human-human-connection-face-mental-health-crisis-using-ai
6. 5 ® Net One Systems Co., Ltd. All rights reserved. Databricksのモデルサービング機能 MLFlow Servingでの機械学習モデルをサービングする機能が元となっている 外部モデル • 外部のLLMサービスを Databricks上に登録できる • Databricks上での外部LLM サービスの利用が容易となる • Azure Open AIやSambaNova と登録 カスタムモデル • CPUやGPUを使ったサービス を作成可能 • Fine Tuningモデルや、RAGや AgentサービスをAPI提供でき る 外部モデルとして登録した、SambaNova上のLlama4と、基盤モデルのLlama4を比較 基盤モデル • Databricks基盤上でAPIベース でLLMを提供する • 登録済みのモデルのみが利用 可能 • Claude、Llama等が利用可能
7. 6 ® Net One Systems Co., Ltd. All rights reserved. PlaygroundでのSambaNovaとの比較 • Databricks Playgroundで登録モデルを横に並べてテストが行える • 非構造テキストの解析例: Llama4 Maverickを利用でSambaNovaが5倍速い結果 SambaNova GPUベース 0.54秒+0.99秒 0.55秒+7.31秒
8. 7 ® Net One Systems Co., Ltd. All rights reserved. 時代はワークフローからAgentへ • 決定論的なワークフローから、柔軟に対応可能なAgentベースシステム • サンフランシスコ市内や101周りの広告は、生成AIの広告からAgentで何を置き換え可能か へ変化 https://docs.databricks.com/aws/en/generative-ai/guide/agent-system-design-patterns メリット デメリット 従来のワークフロー型 • テストと評価が容易 • 動作が予測しやすい • 結果が短時間で得られやすい • 予期しないリクエストを処理できな い • ロジックが大きくなり保守性が失わ れる シングルAgent • ツールを使って予期しないリクエス トにも柔軟に対応 • 内部でLLMを複数回呼び出して結果 をより良いものに近づける事が可能 • ドメインが分かれたツールを詰め込 むと結果が得られにくくなる マルチAgent • ドメイン毎にサブAgentを構築でき る • 複雑なワークフローを処理できる可 能性がある • サブAgentのメンテナンスが複雑化 する可能性 • サブAgent間で無制限にタスクが受 け渡される
9. 8 ® Net One Systems Co., Ltd. All rights reserved. Databricks上でSambaNovaを利用したAgentの構築 • Databricks内に構築したVector DBに問い合わせるAgentを作成 • LangGraphのToolとして、DatabricksのVector DBを登録 • Agentが、どのVector DBに対して、どのような問い合わせをしたら良いのかを考えて問い合わせを 行う • SambaNova上でToll Calling対応しているDeepSeek-V3-0324を利用 Agent Cisco Document Vector DB Paloalto Document Vector DB VMWare Document Vector DB https://docs.sambanova.ai/cloud/docs/capabilities/function-calling
10. 9 ® Net One Systems Co., Ltd. All rights reserved. Agentの比較 • SambaNova（DeepSeek v3)を使ったAgentと、Databricks Claude 3.7を使った Agentで比較 • 実際はLLMの特性で、Toolの呼び出し回数等が異なるため評価が難しい プロンプト Databricks Claude 3.7 SambaNova DeepSeek v3 Paloaltoの冗長化に ついて教えてください。 9.96秒+50.30秒 =60.26秒 5.63秒+8秒 =13.63秒 CiscoとPaloaltoで提供 しているFirewall製品を 比較してください。 8.85秒+68.44秒 =77.29秒 20.94+8.75秒 =29.69秒