Beyond PoC〜LLMを本番業務で適用するためにLayerXで取り組んでいること〜

2024年6月10日に開催された「LLM Tech Night #2」でAI・LLM事業部 PdMの野畑壱成（@isseinohata）が「Beyond PoC」をテーマに発表した資料です。

Transcript

1. © LayerX Inc. Beyond PoC LLMを本番業務で適用するためにLayerXで取り組んでいること 2024/06/10　LLM Tech Night #2 by LayerX
2. 自己紹介・事業紹介
3. 3 Confidential © 2024 LayerX Inc. • 野畑　壱成　（@isseinohata） • PdM @LayerX AI・LLM事業部 • これまで ◦ 2021年にLayerXのR&D部門に新卒入社 ◦ BizDevとしてユースケース探索やPoCのPjM等 • 現在 ◦ AI・LLM事業部の設立でAI・LLMの世界に ◦ BizDev ⇒ PoCのPjM ⇒ 新プロダクトのPdM 自己紹介
4. 4 Confidential © 2024 LayerX Inc. LayerX AI・LLM事業部の取り組み：Ai Workforceの提供 エンタープライズ企業の ドキュメントワークを効率化する 生成AIプラットフォーム 「Ai Workforce」の開発 （本日正式リリース！）
5. 5 Confidential © 2024 LayerX Inc. ドキュメントワークを効率化するノーコード・ノープロンプトの生成AIプラットフォーム AI（LLM）を様々な業務にオンボーディングするために必要な機能を備えたソフトウェア基盤 ②AIに実際の 業務 を実行させ、結 果を レビューする AIに実際の業 務 を実行させる ①AIに一連の業務フロー やドメイン知識を教える AIワークフロー Ai Workforceとは ②AIに実際の業務 を実行させ、結果にレビュー・ フィードバックする
6. 6 Confidential © 2024 LayerX Inc. AIワークフロー 様々な処理タイプごとに構築されたモジュールやプロンプトテンプレートを組み合わせることができ、 業務フローにそってワークフローを設計し、ドメイン知識を与えることでAIによる業務自動化・効率化を実現
7. 本題
8. 8 Confidential © 2024 LayerX Inc. • Beyond PoC ◦ LLMの取り組みをPoCで終わらせず、 本番業務で適用するために取り組んでいること 本日のトピック
9. 9 Confidential © 2024 LayerX Inc. • 文書をインプットし、必要な情報を探したり、照合することでアウトプット（レポート等）を生成する業務 エンタープライズにおけるちょっと重め？な業務が多め • 情報の抽出に加え、判断・分類など思考を伴うような業務の自動化にチャレンジ ◦ 例①：長文かつ非定型の契約書から契約条件を抽出する ◦ 例②：社内のチェックリストを参考に外部発信物（広告のクリエイティブ）のレビューをする ◦ 例③：市場調査結果を社内で定義した市場カテゴリに応じて分類する 前提：AI・LLM事業部が取り組む「ドキュメントワーク」とは？
10. 10 Confidential © 2024 LayerX Inc. • ①対象業務をLLMの解きやすい粒度まで分解すること。ドメイン知識を不足なく提供する。 ◦ ⇒これだけでどのユースケースも7〜８割くらい（実用レベル）の精度に達するイメージ • ②LLMの技術的不確実性とお客様の期待値をコントロールする ◦ ⇒どうしても難しい問題に直面しそうな時は期待値調整や解くべき問題の再設計でカバー AI（LLM）を本番業務で適用するために取り組んでいること 具体的にどういうこと、、？
11. 11 Confidential © 2024 LayerX Inc. LLMは与えられた特定のタスクについては比較的汎用的かつ高精度に解くことはできる （これまではルールベースで全てのパターン、ロジックを洗い出す必要があった⇒大きな進歩） 一方、自ら解くべきタスクを考えること（タスクプランニング）はそこまで得意ではない（という印象） 与えられた大きめのイシューに対して、具体的にどのような細かいタスクに分解すれば最終的に欲しい答えが出せるの か、を考える能力は乏しいため人間がカバーする必要がある。 前提：現状のLLMの限界（個人的な印象） サブイシュー サブイシュー 大きなイシュー サブイシュー サブイシュー サブイシュー 解けない 解ける 得意ではない
12. 12 Confidential © 2024 LayerX Inc. 第1章 総則 契約の目的：本契約は、製品の保証サービスに関する条 件を定めるものであり、製品購入者（以下「お客様」とい う）と当社との間の保証サービスの提供に関わる全て の権利義務を規定します。 定義：本契約における用語の定義は、特に指定がない限 り、以下の通りとします。 「製品」とは、当社が販売または供給する全ての物理的 「顧客から送られてきた製品の故障報告は保証サービスのカバー範囲内か？（無料交換対象か？）」 を判断する事例を例に挙げると、、 業務をLLMが解きやすいタスクに落とし込む ユーザーからインプットされた 故障事故は保証サービスのカバー範囲 か（無料交換対象か？） 5年前に購入したノートパソコンにコーヒがかかってし まい、画面が突然ブラックアウトするようになった。 ・・・ インプット①：故障の報告書 インプット②：保証サービスの契約書、社内マニュアル 社内マニュアル：顧客サポート部門 目的：本マニュアルは、顧客からの問い合わせやクレー ムに対する効果的な対応手順を提供し、顧客満足度の 向上を図ることを目的としています。 適用範囲：本マニュアルは、顧客サポート部門の全スタッ フに適用されます。すべてのスタッフは、マニュアルに 記載されたプロセスに従い、一貫したサービスを提供す ることが求められます。 LLMにインプット①と②と問題を一括で渡して問題 を解かせようと思ってもうまくいかないケースが多い 問題
13. 13 Confidential © 2024 LayerX Inc. 最終的に解決したい問いのために、必要な情報や判断の観点を分割する 故障した部品は 契約書でカバー されているか？ 業務をLLMが解きやすいタスクに落とし込む 実際に故障した 部品はなにか？ 故障が発生した 要因はカバーさ れているか？ 保証サービスでカ バーされている部 品には何がある？ 故障の要因は何 か？ 保証サービスでカ バーされている要 因は何か？ イシューの分解 （観点） 最終的な答えを出すために必要な情報にはどのよ うなものがあるのか？ その情報を考えるためにはどのようなファクトを 集める必要があるのか？ それらの情報は通常どのドキュメントのどのセク ションに記載されているのか？ 故障の報告書を 読んで保証サー ビスのカバー範 囲かを判断する
14. 14 Confidential © 2024 LayerX Inc. 分割された小さなイシューごとに、情報を集めるタスクや判断をするようなタスクに変換する 業務をLLMが解きやすいタスクに落とし込む イシューの分解 タスクへの変換 故障報告書から対 象の部品を抽出 サービスの契約書 からカバー対象の 部品の定義を抽出 故障報告書から故 障の要因を抽出 サービスの契約書 からカバー対象の 故障要因を抽出 対象の部品が カバー範囲か 判断 故障の要因が カバー範囲か 判断 総合的に返品 対象か判断 抽出タスク 判断タスク 判断タスク 故障した部品は 契約書でカバー されているか？ 実際に故障した 部品はなにか？ 故障が発生した 要因はカバーさ れているか？ 保証サービスでカ バーされている部 品には何がある？ 故障の要因は何 か？ 保証サービスでカ バーされている要 因は何か？ 故障の報告書を 読んで保証サー ビスのカバー範 囲かを判断する
15. 15 Confidential © 2024 LayerX Inc. 取り組む領域の業務に対する専門の知識や過去の事例などを与える 業界やその会社特有のワード、類義語、過去の類似の業務の事例（回答例など） タスクごとに必要なドメイン知識を不足なく与えること タスク 故障報告書から対象の部品 を抽出 サービスの契約書からカバー 対象の部品を抽出 故障報告書から故障の要因 を抽出 サービスの契約書からカバー 対象の故障要因を抽出 対象の部品が カバー範囲か判断 故障の要因が カバー範囲か判断 総合的に返品対象 か判断 抽出タスク 判断タスク 判断タスク 過去の判断事例 業界特有の用語 類義語 判断の観点 注意事項等
16. 16 Confidential © 2024 LayerX Inc. 具体的にどうやっているのか？ • とにかくお客様の業務にディープダイブする ◦ LLMにとって適切な粒度にタスクを分解したり、暗黙知や背景知識含めて言語化するには、 自分自身がお客さんの業務をしっかりと理解している必要がある。 アプローチ • お客様からマニュアルや過去事例を受領し、徹底的に読み込む • お客様の日々の業務における思考回路をトレースする ◦ マニュアルなどの形式知には出てこない暗黙知や必要な背景知識が多い ◦ 過去の事例を読み解きながら、タスクごとになぜその答えになったのか、誰がみても明らかな 判断ロジックとして言語化できるまで落とし込んだり、必要に応じてお客様にヒアリングする
17. 17 Confidential © 2024 LayerX Inc. 具体的にどうやっているのか？：お客様へのヒアリングのイメージ （LX）この事例のこのタスクではなぜこのような判断 をしているのですか？マニュアルには特に判断基 準が書かれていないのですが。 （お客様）別のドキュメント（新しいドキュメン ト）に判断軸となる情報が書いてあるからで す。 （LX）なぜそのドキュメントに参照すべき情報がある とわかるのですか？ （お客様）この事例のようなケースでは大体こ のドキュメントのこのセクションを追加で参照 します。 （LX）ケースとはなんですか？ 他にどんなケースがあるんですか？
18. © LayerX Inc. 18 チューニングによる精度改善のイメージ タスクの適切な粒度に分解し、ドメイン知識を不足なく提供することで 実用化水準に到達する（ドキュメントワーク系のPoCでの感覚値） 素のLLM 業務知識・ルールの追加 高度な技術的工夫 30-50点 70-80点 80-90点 実用化水準 「社内用ChatGPT」 があまり使われない パターン
19. 19 Confidential © 2024 LayerX Inc. • そうはいってもLLMにとって難しいケースもある、、 ◦ 正解、不正解の間のラインが曖昧で、人によって品質に大きな差が出るような業務 ◦ 暗黙知や背景知識を言語化したり網羅的に洗い出すことが難しい業務 • PoCで取り組んでみた結果、このような問題に直面し、解決が非現実的となる可能性もある ◦ 限られた予算、限られた期間で実用化まで持っていくためには、、？ ◦ LLMの技術的不確実性とお客様の期待値をうまくコントロールする LLMの限界とアプローチ
20. 20 Confidential © 2024 LayerX Inc. • PoCの中で特に技術的に不確実性が高く、かつお客様にとって実現インパクトの高い問題から取り組む ◦ 限られたPoC期間の最後の方に難しい問題が見つかってもどうしようもできない ◦ なるべく早く不確実性に向き合って必要に応じて対策を検討する • 難しいタスクに直面したら、LLMの制約を理解した上で問題を捉え直す（問題を迂回する） ◦ 難しいタスクは人間に任せるが、そこで完全に諦めず、そのタスクに取り組む上で 参考材料となる情報を整理させるところまでLLMにやらせる等 LLMの技術的不確実性をコントロールする 故障報告書から対象の部品 を抽出 サービスの契約書からカバー 対象の部品を抽出 故障報告書から故障の要因 を抽出 サービスの契約書からカバー 対象の故障要因を抽出 対象の部品が カバー範囲か判断 故障の要因が カバー範囲か判断 総合的に返品対象 か判断 抽出タスク 判断タスク 判断タスク ここは難しいので 人間に任せる このステップまでは LLMで効率化する
21. 21 Confidential © 2024 LayerX Inc. 1. プロジェクト開始時に最終的な目的をしっかりと握る a. 目的はLLMを使うことではなく、業務効率化やビジネス上価値のあるインパクトを産むことである b. （逆にLLMを使うこと自体が目的になっているプロジェクトは本当にエンドユーザーにとって価値 のある取り組みなのかを疑う） 2. LLMは技術的な不確実性が高いことを開始時に握る a. 最初に与えられたテーマについて、どのような不確実性（解決できないリスクがあるのか）を説明 b. そのリスクが顕在化した場合でも、問題を再設計するなどの迂回策を取ることを説明 お客様は何が何でもLLMを使いたいわけではないのでLLMで解決することにこだわりすぎない お客様と足並み（最終的な目的と取り組み方）が揃っていることが重要 お客様の期待値をコントロールする
22. 22 Confidential © 2024 LayerX Inc. 最後に（宣伝） • LayerXはAI従業員を構築するためのプロダクト「Ai Workforce」を開発中 • 大きなビジョン、膨大な機能ロードマップ、R&Dの問題に対してとにかく人が足りていません、、 • 全方位採用中なのでぜひカジュアル面談、採用ページからご応募お待ちしています！！ ◦ プロダクトチーム ▪ ソフトウェアエンジニア、デザイナー、 QAエンジニア、プロダクトマネージャー ◦ R&Dチーム ▪ 機械学習エンジニア・リサーチャー ▪ プロジェクトマネージャー ◦ 事業開発チーム ▪ BizDev、エンタープライズセールス
23. 23 Confidential © 2024 LayerX Inc. ご清聴ありがとうございました