SambaNova BYOCモデルとDifyの連携

Transcript

1. © Ricoh SambaNova BYOCモデル と Difyの連携 2025年7月9日 株式会社リコー リコーデジタルサービスBU AIサービス事業本部 AIインテグレーション統括センター DXシステム開発室 システム開発グループ 宮良 岳士 gakushi.miyara@jp.ricoh.com SambaCloud Tokyo Mingle 3
2. © Ricoh 自己紹介 宮良 岳士（Gakushi MIYARA） 株式会社リコー デジタルサービスBU AIサービス事業本部 AIインテグレーション統括センター DXシステム開発室 ▪ 所属 ▪ 業務 • オンプレミスAIサーバーの構築・検証 • モデル推論環境の構築・検証 • Dify社内環境構築・実践・アドバイザー
3. © Ricoh リコーのAI開発
4. © Ricoh リコーのAI開発 外観検査を自動化し、 省力化を実現 ⚫ リコー独自のOCR技術を開発 ⚫ ドキュメント検索技術を開発 (Ridocへ搭載) ⚫ 画像とテキストを融合した 検索技術の探索 ⚫ 製品の回収量予測技術を開発し、 リサイクルに活用 トンネル点検、法面点検等へ 適用エリアを拡大 自動車製造ラインに導入 加工品質向上に利用 自然言語処理AIによる 企業内のテキストデータ 活用ソリューション 外観検査向けAI 路面性状検査システム 振動モニタリング 自立走行AIを開発 クローラ 2015～ 2020～ 深層学習 登場以前 仕事のAI リコーリースで運用開始。 与信時間の短縮を実現。 文書間の関係部分を見える化する ディープアライメント技術を発表。 弊社契約システムで運用開始。 与信判断向けAI ディープアラインメント技術 バーチャルヒューマン 生 成 A I の 活 用 へ
5. © Ricoh リコーのLLM（ニュースリリース済み） 2024/1 • 13Bモデル 2024/6 • 13Bモデル インストラクションチューニング版 2024/8 • 70Bモデル 日英中3言語対応 2024/9 • 70Bモデル GPT-4相当日本語モデル（モデルマージ） 2025/4 • 70Bモデル GPT-4o相当日本語モデル（モデルマージ） 2025/6 • マルチモーダルLLMの基本モデルを開発 モデルマージによってGPT-4oと同等の高性能な日本語LLM（700億パラメータ）を開発 日本語精度が高い130億パラメータの大規模言語モデル（LLM）を開発 モデルマージによってGPT-4と同等の高性能な日本語LLM（700億パラメータ）を開発 日英中3言語に対応した700億パラメータの大規模言語モデル（LLM）を開発 インストラクションチューニング済みの130億パラメータの日本語LLMを開発 GENIACでマルチモーダルLLMの基本モデルを開発完了
6. © Ricoh リコーのLLM: 2025/4 GPT-4o相当のモデル https://jp.ricoh.com/release/2025/0403_1
7. © Ricoh リコーのLLM: 2025/6 マルチモーダルLLM https://jp.ricoh.com/release/2025/0610_1
8. © Ricoh
9. © Ricoh AIアプリ開発プラットフォーム https://dify.ai/jp ▪ ローコードでAIアプリを開発できる • チャットボット RAG エージェント ▪ エンジニア・非エンジニアが 共創して開発可能 ▪ システム連携 • プラグインによる機能拡張 • DifyアプリのAPI化
10. © Ricoh “Dify” 呼び方が変わった？ https://xtech.nikkei.com/atcl/nxt/column/18/03236/061200004/ リブランディングに合わせてDifyの読み方も 「ディファイ」ではなく「ディフィ」 を正式とした。 新しいロゴでも強調しているように、これに は「if（もし）」という問いを立てる思考スタ イルを伝えたいという意味が込められている。
11. © Ricoh ロゴが変わりました https://xtech.nikkei.com/atcl/nxt/column/18/03236/061200004/
12. © Ricoh SambaNovaのロゴも変わっていました https://sambanova.ai/ja/
13. © Ricoh Dify × リコー: 社内実践 https://jp.ricoh.com/news/stories/articles/nikkei-business-2025-03 https://jp.ricoh.com/release/2024/1128_1
14. © Ricoh Dify × リコー: パートナー https://promo.digital.ricoh.com/ai/service/dify/
15. © Ricoh DifyからSambaNovaを使う
16. © Ricoh Dify × SambaNova Cloud連携 ▪ DifyのSambaNova Cloud対応が2025年5月にリリースされました https://github.com/langgenius/dify-official-plugins/pull/916 SambaNova CloudモデルがDifyから簡単に利用可能
17. © Ricoh Dify × SambaNova Cloud連携: LLM ▪ SambaNova Cloudモデルプロバイダーから接続 https://docs.sambanova.ai/cloud/docs/integrations/dify https://marketplace.dify.ai/plugins/langgenius/sambanova ▪ APIキーを設定すると全モデルが使用可能
18. © Ricoh Dify × SambaNova Cloud連携: Embedding / Audio ▪ SambaNova Cloud AudioとEmbeddingモデル OpenAI-API-compatibleモデルプロバイダーから接続する • SambaNova Cloudモデルプロバイダーは現在LLMのみ対応 Embeddingモデルの追加 Audio (Speech to text)モデルの追加 https://marketplace.dify.ai/plugins/langgenius/openai_api_compatible
19. © Ricoh Dify × SambaNova Cloud連携: まとめ ▪ OpenAI API互換モデルの接続 モデル種別 Dify モデルプロバイダー SambaNovaモデル例 LLM Dify v1.0 以上 SambaNova Cloud DeepSeek-R1 Llama-4 Dify v1.0 未満 OpenAI-API-compatible Audio OpenAI-API-compatible Whisper-Large-v3 Embedding OpenAI-API-compatible E5-Mistral-7B-Instruct ▪ モデルプロバイダー以外の接続方法 • 用途: OpenAI API 非互換モデルへの接続、直接APIを叩きたい モデル種別 Dify 接続方法 (ノード) SambaNovaモデル例 すべて HTTPリクエスト コード実行 (Python, JavaScript) qwen2-audio-7b-instruct （廃止済みモデル）
20. © Ricoh SambaNova × Difyアプリ デモ: チャットボット モデル: Llama-4-Maverick-17B-128E-Instruct 実行速度: 約700 token/sec
21. © Ricoh SambaNova BYOC
22. © Ricoh SambaNova BYOC BYOC (Bring Your Own Checkpoint) ▪ 独自モデルをSambaNova Cloudで実行できる機能 ▪ SambaNova Cloudの上位プランで利用可能 モデル対応 ▪ SambaNova対応モデル (llama, DeepSeek, …)をベースにするモデル ▪ HuggingFace形式のPyTorchモデルに対応 • 任意のモデルcheckpointをインポートできる
23. © Ricoh SambaNova BYOC × リコーモデル ▪ Ricoh-70Bモデルをデプロイ
24. © Ricoh Speculative Decoding (SD) による高速化 ▪ 軽量なドラフトモデルの推論結果に基づきターゲットモデルの推論を高速化 ▪ SambaNovaはSDにより推論高速化している ターゲットモデル llama-3.3-Ricoh-70B RDU (Reconfigurable Dataflow Unit) ドラフトモデル llama-3.2-1B ベース SambaNova Cloud SambaNovaにより作成 RDUの利点 ▪ RDU同一ノード上で瞬時にモデル を切り替えられるため、 ターゲット/ドラフトモデル切り替 えのオーバーヘッドが少ない 低レイテンシでSDが実現できる
25. © Ricoh Difyから SambaNova BYOCモデルを使う
26. © Ricoh DifyとSambaNova BYOCモデルの連携 ▪ SambaNova Cloudモデルプロバイダーから接続 モデル追加からBYOCモデル名を 入力する
27. © Ricoh リコーモデル on SambaNova × Difyアプリ: デモ・実行速度 実行基盤 実行速度 [Token/s] SambaNova BYOC ※1 約 700 Bedrock カスタムモデル 約 30 GPU A6000 (Ollama) ※2 約 20 ※1 SD高速化あり ※2 4bit量子化モデル モデル: llama-3.3-Ricoh-70B-20250325 参考値 様々な条件により結果は変わることがあります SambaNova BYOC GPU A6000 (Ollama)
28. © Ricoh SambaNova × Difyアプリ デモ: グラフィックレコーディング https://github.com/Sunwood-ai-labs/MysticLibrary/blob/main/prompts/ documentation/Graphic-recording-style-infographic-v2.md https://marketplace.dify.ai/plugins/svcvit/artifacts モデル: DeepSeek-R1 発表用下書きからHTML生成 Dify Artifactsプラグイン
29. © Ricoh まとめ ▪ SambaNovaとDifyを組み合わせた高速なAIアプリ開発ができます ▪ SambaNova BYOCにより独自モデルをホスティングできます ▪ SambaNovaは速い • Agentシステムなど複雑なAIアプリの実行速度が飛躍的に向上します