TDSE_20250311_AIxIoTビジネス共創ラボ第2回勉強会_発表資料.pdf

Transcript

1. ©2025 TDSE Inc.
2. ©2025 TDSE Inc. 1 1. 会社紹介 2. 本日の主題 3. 生成AIをビジネスに活かす 4. Difyとは何か 5. Databricksとは何か 6. どんなビジネス課題か 7. どう解決したか 8. 本開発プロジェクトの特長 9. まとめ
3. ©2025 TDSE Inc. 会社紹介 2 TDSE Inc. 名 称 TDSE株式会社 所 在 地 東 京 都 新 宿 区 西 新 宿 3 - 2 0 - 2 東 京 オ ペ ラ シ テ ィ タ ワ ー 設 立 2 0 1 3 年 1 0 月 1 7 日 代 表 者 代 表 取 締 役 社 長 東 垣 直 樹 資 本 金 8 億 3 3 1 8 万 円 従 業 員 数 1 4 5 名 （ 2 0 2 4 年 4 月 時 点 ） 主 要 株 主 株 式 会 社 テ ク ノ ス ジ ャ パ ン 株 式 会 社 エ ヌ ・ テ ィ ・ テ ィ ・ デ ー タ あ い お い ニ ッ セ イ 同 和 損 害 保 険 株 式 会 社 tdse.jp
4. ©2025 TDSE Inc. AIを中心とした統合型ソリューション企業 3
5. ©2025 TDSE Inc. サービス内容 4 当社「コンサルタント/データサイエンティスト/エンジニア」が ビジネス変革をサポートします 全社のDX推進に向けて、ビジョン策定～テー マ選定まで推進計画を立案し、内製化に向け たコンサルティングを実行します DX/データ活用組織の組成や推進に必要な専 門人材（DX人材：デジタル人材/データサイ エンス人材）の育成を支援します DX/分析組織組成支援 DX人材育成 機械学習、ディープラーニング等の 技術を活 用し、AIを設計・構築し ますData 約300件の解析実績をもとにライブラ リ/モジュール化 分析基盤やMLOps等のAIを活用したシステ ムを上流から設計し、構築します DXコンサルティング データ分析支援 AI/ML エンジニアリング支援 DX支援及びデータ利活用サービス プロダクト提供 少数の正常データのみで運用可能な最先端 の良品学習AIで、設備の保守業務、製品の 品質確認など目視作業による外観検査を効 率化 自社AIプロダクトとグローバルAIプロダクトを活用することで 企業価値向上と業務効率化を実現します SNS上から本音を見つけ出すソーシャルリ スニングツール 最先端の自然言語処理（NLP）と言語理解 （NLU）が実装された対話型AIプラット フォーム 大量のQAリストの自動生成によりチャッ トボットやFAQシステム導入時の負担軽 減や精度改善が可能 LLMを活用したAIアプリケーション開発 プラットフォーム ※TDSEはDifyの公式販売・開発パートナーで す。エンタープライズ版の販売、日本国内向け のテクニカルサポートを行っています。 SNS・レビュー等のテキストデータから 顧客のインサイトを発見、商品開発や サービス改善に繋がるリサーチ型テキス トマイニングツール AIエージェント活用支援 業務の効率化、自動化を支援する自立型AIエージェントの構築から運用改善まで一気 通貫でサポートします
6. ©2025 TDSE Inc. DXコンサルティング 5 育成 領域 DS/ENG 領域 フィードバック 4 プロセス整備 推進業務設計 展開フェーズ DX準備フェーズ １ テーマアセスメント Quick win PJ 0 DX成熟度とゴールの可視化 業務適応/運用（MLOps） 分析基盤整備 個別分析 人材開発 ３ 分析の企画 DXのビジネスゴール共有 個別分析 （徐々にお客様主導で） DX推進活動支援 POC分析 DX人材の育成 ３‘ ２ インプット インプット フィードバック 推進支援 領域 ゴール 再検討 お客様のDXの現状を把握し、 準備フェーズと展開フェーズに分けてサービスを提供
7. ©2025 TDSE Inc. 本日の主題 6 生成AIの中でも特にLLMをビジネスに活かすために 押さえておくべきと思われるポイントのいくつかをご紹介します 左記のように、改善を前提とした設計とした としても、LLMの高速な進歩を踏まえるとプロ ジェクト着手からリリースまで出来る限りク イックに進めることが望ましい。長くとも3-4 か月を目安として、その期間に合わせてビジ ネス要求・機能要件を絞り、無理なく開発・ リリースが可能なMVPを設計することが肝心 となる。また、リリース後のLLMOpsサイクル を数巡経過しても精度が全く改善しない場合 のリスクヘッジの意味でも開発コストを抑え るという観点でMVPとして無理なくクイック 開発を進めることが望ましい。 クイックな開発・リリース 3 左記のように、最初から精度に頼らないゴー ル設定を可能とする（許容する）ためには、 精度自体を改善出来る前提を成立させる必要 がある。LLMOps・MLOpsによる改善サイク ルを実現可能な仕組みとして予め設計してお くことが肝心となる。また、LLMの進歩は目覚 ましく、LLMの業務導入プロジェクトの最中に ですら、新しいモデルが次々とリリースされ る。LLMモデル自体をパーツとして簡便に交 換し検証することが可能な仕組みとして予め 設計しておくことも肝心となる。 ※Wikipediaによると、2025年1月-2月の2か月 間だけでも6個の新しいモデルがリリースされ ている https://en.wikipedia.org/wiki/List_of_large_l anguage_models 改善を前提とした仕組み化 2 LLMの性能・特長を踏まえた上で、最初から LLMの精度に頼った課題設定・ゴール設定を しないことがミソ（LLMは驚くほど性能が高い モデルもあるので、ついそうしたくなるが） 。 最初は精度はほどほどにLLM自体の業務実装 自体をゴールと設定出来るような課題設定が 好ましい。高すぎる精度目標があったとして も最初からゴールにしてしまうと、PoCで精度 未達と言う結果になり、PoCの時点でプロ ジェクトが頓挫してしまうことが多い。 頓挫しないビジネス課題・ゴール設定 1
8. ©2025 TDSE Inc. 生成AI（LLM）をビジネスに活かす 7 頓挫しない（しにくい）課題設定・ゴール設定 最終的にはLLM（AI）の精度を求めるが、最初は そこまで求めずに、別の課題・目標を設定するこ と。例えば、可視化、自動化、非属人化、データ 収集、などの組織DX化の第一歩を踏むことを目標 にする。従って、最初のプロジェクトはAIがパー ツとして存在するシステム開発プロジェクトの様 相に近くなる。 付け加えると、課題・ゴールは段階的に達成して いく構想として複数設定するとベター。 AIの精度以外に主眼となる課題がある 様々な理由（LLMの進歩が速い、コスト抑制した い）により、最初のプロジェクトとして3-4か月を 目安にしておきたいので、その程度の期間でも開 発・リリース可能なシンプルな仕組みとする。 MVPはシンプルなもので業務活用可能 例えば、採用業務の書類選考が分かりやすい。 「LLMを用いて書類選考を自動化することで業務負荷軽減する」と 言った課題設定をし、最初のゴールとしては「採用担当者の精度に多 少劣る程度の精度でも許容し自動化を実現すること」とする。 大量の書類の処理 シンプルに負荷を減らしたいので、 まずはとにかく自動化したい LLMによるシンプルな自動判定 経験の浅い担当者でも簡単に合格/不合格と判断出 来る応募者だけでも良いのでまずはとにかく自動 化する。合格/不合格/判別不可のリストを返すだけ で良い（合格者を次の選考ステップに進め、判別 不可の書類だけを採用担当者が選考すればよい） 1
9. ©2025 TDSE Inc. 生成AI（LLM）をビジネスに活かす 8 改善を前提とした仕組み化 LLMや機械学習モデルをLLMOps・MLOpsの改 善サイクルに乗せるために、データを蓄積可能な 仕組みとして予め設計する。加えて、将来構想と しての課題も解決可能なデータを最初から同時に 収集していくような仕組みともしておきたい。 データを蓄積し改善に活かす 精度改善のためには、利用するLLMモデルを固定 してデータや工夫を凝らして改善するよりも、よ り高性能なLLMモデルに置き換えることが手っ取 り早い（勿論利用料金と相談）。従って、LLMは 簡単に交換可能なように仕組みを設計する。 LLMは交換前提 採用業務の例で言うと 最初期は「採用業務の自動化及びある程度までのLLMの精度改善」がゴールだが、 次段階のゴールとしては人事評価データと紐づけて「社員の効果的な育成」や 「3年以内離職率の低減」や、最終的には「売上向上」をゴールとして、将来を 見据えて様々なデータを最初期から取得しておく リリース直後から数年先を見 通してデータ収集 LLMシステムリリース後1年もすれば、新人の研 修結果やOJT結果がデータとして獲得でき、2年 もすれば最初のプロジェクトの成果などがデータ として獲得出来る。毎年100名程度の新卒が入社 するなら、5年も運用すれば500人分のデータが 集まる。 LLMを用い た選考シス テム 人事評価シ ステム 基幹システ ム 選考結果/評 価結果 人事評価 業務データ より高性能な将来のLLMモデル 利用を見据えて 1か月~2か月の僅かな期間でも新しいモデルがリ リースされ、それに交換するだけでシステム自体 が改善する 2
10. ©2025 TDSE Inc. 生成AI（LLM）をビジネスに活かす 9 クイックな開発・リリース クイックであることに加えて、非属人的に開 発を進めるために、スクラッチでのコーディ ングはなるべく避けて、ノーコードツールや ローコードツールによる開発を進める ノーコード・ローコード 最初期のMVPにはスペックを抑え、システムの将 来的な拡張を見据えてスペックを柔軟に上げるこ とのできるクラウドが大前提となる クラウド スクラッチ開発に比べて技術面での制限は多少出てくる（ツールやプ ラットフォームがサポートしていないことは出来ない、ツール自体の 仕様やマニュアルには従う必要がある、など）が、言い換えると制限 がある・作法があるが故に（極端な）属人化はしない 3
11. ©2025 TDSE Inc. Difyとは何か 10 ノーコードで生成AIサービスを開発出来るツール チャットボット、データ分析や コンテンツ生成ツールなどのAIサービス構築が可能 Azure Open AI Service、Open AI、Ollamma、 Geminiなど様々なモデルとの接続をサポート。最 新モデルもリリースされ次第対応 多様なLLMモデル RAGエンジンにより、LLMが自社組織の資料や データを参照した回答や検索が可能となる。自社 独自のナレッジを構築することが可能。 RAGエンジンによるLLM拡張 TeamsやSlackなどのツールとの連携や、Stable Diffusionなどの画像生成ツールとの連携も可能 外部ツールやAPI連携 Difyは、 プログラミングの知識がなくて もドラッグ＆ドロップで 生成AIアプリケーションを構築 できるツール。 非エンジニアや初心者も 手軽に操作可能。 ※TDSE株式会社はDifyのオフィシャルパートナーとして、 日本国内でDify開発・テクニカルサポート・エンタープライズ版をご提供しています
12. ©2025 TDSE Inc. Databricksとは何か 11 データ一元管理、カバナンス統一、ビッグデータ処理や 機械学習モデルの開発・MLOpsサイクルの実現、データ可視化など、 様々なデータ関連のタスクを実践する次世代のクラウド型プラットフォーム • 構造かデータ、非構造化データを統合的に管理 • BIツールから直接データレイクにアクセス • 並列分散処理による高速なデータ処理 シンプルかつ高速なデータ管理 データ収集から分析・モデリング、精度評価、再学習、モデ ルサービングなど機械学習プロジェクトの開始から終了まで のすべてのステップを管理可能 機械学習のライフサイクルを一元管理 • マルチクラウド対応 • オープンソースベースの技術を採用 柔軟かつオープン性のあるデータ分析基盤
13. ©2025 TDSE Inc. ここから事例のご紹介 12 Azure x Databricks x Difyを用いて、 比較的クイックにLLMの業務活用を実現（しようとしている） テーマとしては自社プロダクトのカスタマー サポートの改善。LLMはカスタマーの問合せテ キスト文の処理に用いる。主眼となる課題は 業務効率化とし、最初からLLMによるタスク解 決の精度はそこまで求めない（勿論改善する 前提）。 ビジネス課題 LLMにより様々なテキスト処理タスクを解決さ せることでサポート担当者の業務を半自動化 するような仕組みとして設計。また、 LLMOps・MLOpsによる改善を予め見据えて、 データ収集～LLMによる処理～データを用いた 仕組み改善までの一気通貫の仕組みとして設 計。 解決策 ローコードツール・ノーコードツール及びク ラウド活用による比較的ローコストかつクイッ クな開発を実現。開発期間3カ月、工数11.3人 月 特長
14. ©2025 TDSE Inc. どんなビジネス課題か 13 自社プロダクトの販売数を数年で２倍以上にするという事業計画の ためにカスタマーサポート業務のDX化が必須 現状は問合せを受けてから解決までサポート 要員が個々に対応しており、人間が可能な作 業スピード以上は出せない。一方でユーザー はより高速なレスポンスを求めており、この 課題を解決することでUX向上を目指す。 UX向上 サポート要員の採用自体が年々困難になって きている中で、販売拡大に伴い問合せ件数の 増大が予想される。これに持続的に対応対応 可能な仕組みが必要。 持続可能な仕組み 問合せテキストデータは既にFAQ作成などに活 用しているが、今後一層膨大な量となるテキ ストデータを、UX向上だけでなくプロダクト 開発等様々な目的で有効活用する必要がある。 また新たなデータとしてユーザーの行動履歴 を取得しテキストデータと紐づけてより高度 な分析を行い、様々なビジネス目的に活用す る必要がある。 ユーザーデータの取得・活用 ユーザー カスタマー サポート 問合せテキ ストデータ FAQ作成 担当 FAQ FAQ ページ 解決までの所要時間 サポート要員がユーザーと直接のや り取りして対応しており、問合せ解 決のスピードに課題がある 膨大なテキストデータの処理負荷 担当者が直接テキストデータを読解し、適切なFAQを作成 している。業務自体に手作業が多く、プロダクトに精通す る必要もあり、業務負荷は高い。 要員の採用難 業界全体の人材不足により 年々採用が困難となっている
15. ©2025 TDSE Inc. どう解決したか（しようとしているか） 14 LLMを活用したFAQ自動生成・検索システムによる カスタマーサポート業務の（大幅な）自動化 問合せテキストデータをLLMを用いて 様々なタスクを解決 1. 個人情報除去 2. カテゴリ分類、新規カテゴリ付与 3. （新規）カテゴリに関してFAQ自 動生成 4. マニュアルや既存FAQなど様々な ソースを一元検索し回答生成 LLMを用いたテキストデータの処理 テキストだけでなく画像・音声入力に も対応したマルチモーダルなチャット ボットを開発し、更なるUX向上を図る マルチモーダルチャットボット 従来の問合せテキストデータに加え、 チャットボットとの会話履歴、プロダ クト上での行動履歴など様々なデータ を取得し、UX向上やプロダクト改善の ために活用 様々なユーザーデータの取得・活用 システム上で利用するLLMモデルや機 械学習モデルをLLMOpsやMLOpsのフ レームワークで自動改善可能な仕組み を構築。多くのユーザーが利用すれば するほど改善するサイクルを実現 LLMOps・MLOpsによる改善 FAQ DB マニュアル DB 問合せテ キスト 音声 画像 回答 ユーザー データ マルチモー ダルボット LLM RAG 一元検索 ユーザー 新規FAQ 生成 学習 担当者 BIツール マルチモーダル テキストに加えて画像・音 声による問合せにも対応 ユーザー データ活用 問合せ対応だけで なく様々な目的に 活用 LLM活用 LLMが様々なタス クを柔軟に解決 LLM/MLOps ユーザーデータなどを用 いてLLMモデルを改善 データ取得～業務への活用～MLOps サイクルまで一気通貫の仕組み
16. ©2025 TDSE Inc. 本開発プロジェクトの特長 15 データ取得・蓄積、分析、FAQ生成、マルチモーダルチャットボット、 担当者向けI/F、LLMOps・MLOpsのサイクルまでの一気通貫の仕組みを Azure x Databricks x Difyを用いてローコードで比較的短期間で構築したこと RAG構築に強みを持つLLMアプリ開発プラットフォーム Difyとデータ処理や機械学習モデルの学習や管理など MLOpsサイクルの実現が比較的容易に可能なクラウド型プ ラットフォームDatabricksを用いて開発。前ページの複雑 な一気通貫の仕組みの実現においても、多くの工程をノー コード・ローコードで開発を進めることが可能。機能によっ ては、要件定義フェーズで設計した処理フロー図をUI上の 操作で製造できるため、非常に直感的に開発を進めることが 出来る。 ローコードツールによるクイックな開発 開発環境と本番環境を分けて構築。開発環境はVirtual Machines（VM）のスペックを最初抑えて構築し、必要に応 じて柔軟に切替え、コストを抑え開発。またDify・ Databricksで製造した機能は比較的容易に環境間の移行が可 能。特に、今後も様々なLLMモデルが発表されることを踏ま えて、使いたいLLMモデルによってVMの性能をいつでも上 げ下げ出来るので大変便利 LLMの発展を見据えたAzure上での開発 要求定義・要件定義からMVPリリースまで３カ月 ※前ページの仕組みはフェーズを分け段階的に開発している。最初のフェーズが３カ月間
17. ©2025 TDSE Inc. まとめ ～LLM時代についていくために～ 16 ✓ 最終目標とするビジネス課題の解決に向けて、段階的にマイルストンを設計 ✓ 最初期は自動化などを目標に、シンプルなゴールを設計する ✓ 最初期はAIの精度をそこまで要求しない（例.いきなりベテランレベルではなく経験の浅い担当者レベ ルを目指す） 将来構想のあるビジネス課題の設計 ✓ LLMやAIは改善する想定で、LLMOps・MLOpsのサイクルが可能な仕組みとする ✓ モデルについては新しいモデルを検証し交換可能なように仕組みとする ✓ 最終目標とするビジネス課題を解決可能なデータを予め収集する設計とする 将来構想を見据えた仕組み設計 ✓ ローコードツール・ノーコードツール・クラウドを駆使し、高速に進歩する技術に後れを取らないよ うな開発サイクルを実現する ✓ 特にLLMに関しては、何らかの開発プラットフォームを用いることが望ましい（新しいLLMモデルを 簡単に試せる） クイックな開発
18. この文書は、著作権法及び不正競争防止法上の保護を受けております。 文書の一部或いは全てについて、TDSE株式会社から許諾を得ずに、いかなる方法においても無断で複写、複製、転記、転載、ノウハウの使用、企業秘密の開示等を行うことは禁じられております。本文記載の社名・製品名・ロゴは各社の商標または登録商標です。 ©2025 TDSE Inc. TDSE株式会社 〒163-1427 東京都新宿区西新宿3-20-2 東京オペラシティタワー27F 03-6383-3261 info@tdse.jp www.tdse.jp ▼ぜひお気軽にお問い合わせ下さい お 問 い 合 わ せ は こ ち ら お問い合わせはこちら 各 種 資 料 ダ ウ ン ロ ー ド は こ ち ら 各種資料ダウンロードは こちら