Beyond PoC〜LLMを本番業務で適用するためにLayerXで取り組んでいること〜

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介・事業紹介

Slide 3

Slide 3 text

3 Confidential © 2024 LayerX Inc. ● 野畑　壱成　（@isseinohata） ● PdM @LayerX AI・LLM事業部 ● これまで ○ 2021年にLayerXのR&D部門に新卒入社 ○ BizDevとしてユースケース探索やPoCのPjM等 ● 現在 ○ AI・LLM事業部の設立でAI・LLMの世界に ○ BizDev ⇒ PoCのPjM ⇒ 新プロダクトのPdM 自己紹介

Slide 4

Slide 4 text

Slide 5

Slide 5 text

5 Confidential © 2024 LayerX Inc. ドキュメントワークを効率化するノーコード・ノープロンプトの生成AIプラットフォーム AI（LLM）を様々な業務にオンボーディングするために必要な機能を備えたソフトウェア基盤 ②AIに実際の業務を実行させ、結果をレビューする AIに実際の業務を実行させる ①AIに一連の業務フローやドメイン知識を教える AIワークフロー Ai Workforceとは ②AIに実際の業務を実行させ、結果にレビュー・フィードバックする

Slide 6

Slide 6 text

Slide 7

Slide 7 text

本題

Slide 8

Slide 8 text

Slide 9

Slide 9 text

9 Confidential © 2024 LayerX Inc. ● 文書をインプットし、必要な情報を探したり、照合することでアウトプット（レポート等）を生成する業務エンタープライズにおけるちょっと重め？な業務が多め ● 情報の抽出に加え、判断・分類など思考を伴うような業務の自動化にチャレンジ ○ 例①：長文かつ非定型の契約書から契約条件を抽出する ○ 例②：社内のチェックリストを参考に外部発信物（広告のクリエイティブ）のレビューをする ○ 例③：市場調査結果を社内で定義した市場カテゴリに応じて分類する前提：AI・LLM事業部が取り組む「ドキュメントワーク」とは？

Slide 10

Slide 10 text

10 Confidential © 2024 LayerX Inc. ● ①対象業務をLLMの解きやすい粒度まで分解すること。ドメイン知識を不足なく提供する。 ○ ⇒これだけでどのユースケースも7〜８割くらい（実用レベル）の精度に達するイメージ ● ②LLMの技術的不確実性とお客様の期待値をコントロールする ○ ⇒どうしても難しい問題に直面しそうな時は期待値調整や解くべき問題の再設計でカバー AI（LLM）を本番業務で適用するために取り組んでいること具体的にどういうこと、、？

Slide 11

Slide 11 text

11 Confidential © 2024 LayerX Inc. LLMは与えられた特定のタスクについては比較的汎用的かつ高精度に解くことはできる（これまではルールベースで全てのパターン、ロジックを洗い出す必要があった⇒大きな進歩）一方、自ら解くべきタスクを考えること（タスクプランニング）はそこまで得意ではない（という印象）与えられた大きめのイシューに対して、具体的にどのような細かいタスクに分解すれば最終的に欲しい答えが出せるのか、を考える能力は乏しいため人間がカバーする必要がある。前提：現状のLLMの限界（個人的な印象）サブイシューサブイシュー大きなイシューサブイシューサブイシューサブイシュー解けない解ける得意ではない

Slide 12

Slide 12 text

12 Confidential © 2024 LayerX Inc. 第1章総則契約の目的：本契約は、製品の保証サービスに関する条件を定めるものであり、製品購入者（以下「お客様」という）と当社との間の保証サービスの提供に関わる全ての権利義務を規定します。定義：本契約における用語の定義は、特に指定がない限り、以下の通りとします。「製品」とは、当社が販売または供給する全ての物理的「顧客から送られてきた製品の故障報告は保証サービスのカバー範囲内か？（無料交換対象か？）」を判断する事例を例に挙げると、、業務をLLMが解きやすいタスクに落とし込むユーザーからインプットされた故障事故は保証サービスのカバー範囲か（無料交換対象か？） 5年前に購入したノートパソコンにコーヒがかかってしまい、画面が突然ブラックアウトするようになった。・・・インプット①：故障の報告書インプット②：保証サービスの契約書、社内マニュアル社内マニュアル：顧客サポート部門目的：本マニュアルは、顧客からの問い合わせやクレームに対する効果的な対応手順を提供し、顧客満足度の向上を図ることを目的としています。適用範囲：本マニュアルは、顧客サポート部門の全スタッフに適用されます。すべてのスタッフは、マニュアルに記載されたプロセスに従い、一貫したサービスを提供することが求められます。 LLMにインプット①と②と問題を一括で渡して問題を解かせようと思ってもうまくいかないケースが多い問題

Slide 13

Slide 13 text

13 Confidential © 2024 LayerX Inc. 最終的に解決したい問いのために、必要な情報や判断の観点を分割する故障した部品は契約書でカバーされているか？業務をLLMが解きやすいタスクに落とし込む実際に故障した部品はなにか？故障が発生した要因はカバーされているか？保証サービスでカバーされている部品には何がある？故障の要因は何か？保証サービスでカバーされている要因は何か？イシューの分解（観点）最終的な答えを出すために必要な情報にはどのようなものがあるのか？その情報を考えるためにはどのようなファクトを集める必要があるのか？それらの情報は通常どのドキュメントのどのセクションに記載されているのか？故障の報告書を読んで保証サービスのカバー範囲かを判断する

Slide 14

Slide 14 text

14 Confidential © 2024 LayerX Inc. 分割された小さなイシューごとに、情報を集めるタスクや判断をするようなタスクに変換する業務をLLMが解きやすいタスクに落とし込むイシューの分解タスクへの変換故障報告書から対象の部品を抽出サービスの契約書からカバー対象の部品の定義を抽出故障報告書から故障の要因を抽出サービスの契約書からカバー対象の故障要因を抽出対象の部品がカバー範囲か判断故障の要因がカバー範囲か判断総合的に返品対象か判断抽出タスク判断タスク判断タスク故障した部品は契約書でカバーされているか？実際に故障した部品はなにか？故障が発生した要因はカバーされているか？保証サービスでカバーされている部品には何がある？故障の要因は何か？保証サービスでカバーされている要因は何か？故障の報告書を読んで保証サービスのカバー範囲かを判断する

Slide 15

Slide 15 text

15 Confidential © 2024 LayerX Inc. 取り組む領域の業務に対する専門の知識や過去の事例などを与える業界やその会社特有のワード、類義語、過去の類似の業務の事例（回答例など）タスクごとに必要なドメイン知識を不足なく与えることタスク故障報告書から対象の部品を抽出サービスの契約書からカバー対象の部品を抽出故障報告書から故障の要因を抽出サービスの契約書からカバー対象の故障要因を抽出対象の部品がカバー範囲か判断故障の要因がカバー範囲か判断総合的に返品対象か判断抽出タスク判断タスク判断タスク過去の判断事例業界特有の用語類義語判断の観点注意事項等

Slide 16

Slide 16 text

16 Confidential © 2024 LayerX Inc. 具体的にどうやっているのか？ ● とにかくお客様の業務にディープダイブする ○ LLMにとって適切な粒度にタスクを分解したり、暗黙知や背景知識含めて言語化するには、自分自身がお客さんの業務をしっかりと理解している必要がある。アプローチ ● お客様からマニュアルや過去事例を受領し、徹底的に読み込む ● お客様の日々の業務における思考回路をトレースする ○ マニュアルなどの形式知には出てこない暗黙知や必要な背景知識が多い ○ 過去の事例を読み解きながら、タスクごとになぜその答えになったのか、誰がみても明らかな判断ロジックとして言語化できるまで落とし込んだり、必要に応じてお客様にヒアリングする

Slide 17

Slide 17 text

17 Confidential © 2024 LayerX Inc. 具体的にどうやっているのか？：お客様へのヒアリングのイメージ（LX）この事例のこのタスクではなぜこのような判断をしているのですか？マニュアルには特に判断基準が書かれていないのですが。（お客様）別のドキュメント（新しいドキュメント）に判断軸となる情報が書いてあるからです。（LX）なぜそのドキュメントに参照すべき情報があるとわかるのですか？（お客様）この事例のようなケースでは大体このドキュメントのこのセクションを追加で参照します。（LX）ケースとはなんですか？他にどんなケースがあるんですか？

Slide 18

Slide 18 text

Slide 19

Slide 19 text

19 Confidential © 2024 LayerX Inc. ● そうはいってもLLMにとって難しいケースもある、、 ○ 正解、不正解の間のラインが曖昧で、人によって品質に大きな差が出るような業務 ○ 暗黙知や背景知識を言語化したり網羅的に洗い出すことが難しい業務 ● PoCで取り組んでみた結果、このような問題に直面し、解決が非現実的となる可能性もある ○ 限られた予算、限られた期間で実用化まで持っていくためには、、？ ○ LLMの技術的不確実性とお客様の期待値をうまくコントロールする LLMの限界とアプローチ

Slide 20

Slide 20 text

20 Confidential © 2024 LayerX Inc. ● PoCの中で特に技術的に不確実性が高く、かつお客様にとって実現インパクトの高い問題から取り組む ○ 限られたPoC期間の最後の方に難しい問題が見つかってもどうしようもできない ○ なるべく早く不確実性に向き合って必要に応じて対策を検討する ● 難しいタスクに直面したら、LLMの制約を理解した上で問題を捉え直す（問題を迂回する） ○ 難しいタスクは人間に任せるが、そこで完全に諦めず、そのタスクに取り組む上で参考材料となる情報を整理させるところまでLLMにやらせる等 LLMの技術的不確実性をコントロールする故障報告書から対象の部品を抽出サービスの契約書からカバー対象の部品を抽出故障報告書から故障の要因を抽出サービスの契約書からカバー対象の故障要因を抽出対象の部品がカバー範囲か判断故障の要因がカバー範囲か判断総合的に返品対象か判断抽出タスク判断タスク判断タスクここは難しいので人間に任せるこのステップまでは LLMで効率化する

Slide 21

Slide 21 text

21 Confidential © 2024 LayerX Inc. 1. プロジェクト開始時に最終的な目的をしっかりと握る a. 目的はLLMを使うことではなく、業務効率化やビジネス上価値のあるインパクトを産むことである b. （逆にLLMを使うこと自体が目的になっているプロジェクトは本当にエンドユーザーにとって価値のある取り組みなのかを疑う） 2. LLMは技術的な不確実性が高いことを開始時に握る a. 最初に与えられたテーマについて、どのような不確実性（解決できないリスクがあるのか）を説明 b. そのリスクが顕在化した場合でも、問題を再設計するなどの迂回策を取ることを説明お客様は何が何でもLLMを使いたいわけではないのでLLMで解決することにこだわりすぎないお客様と足並み（最終的な目的と取り組み方）が揃っていることが重要お客様の期待値をコントロールする

Slide 22

Slide 22 text

22 Confidential © 2024 LayerX Inc. 最後に（宣伝） ● LayerXはAI従業員を構築するためのプロダクト「Ai Workforce」を開発中 ● 大きなビジョン、膨大な機能ロードマップ、R&Dの問題に対してとにかく人が足りていません、、 ● 全方位採用中なのでぜひカジュアル面談、採用ページからご応募お待ちしています！！ ○ プロダクトチーム ■ ソフトウェアエンジニア、デザイナー、 QAエンジニア、プロダクトマネージャー ○ R&Dチーム ■ 機械学習エンジニア・リサーチャー ■ プロジェクトマネージャー ○ 事業開発チーム ■ BizDev、エンタープライズセールス