現場で動くAIワークフロー〜チューニングを効率化する工夫〜

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 Confidential © 2025 LayerX Inc. 自己紹介 ● 恩田壮恭（おんだまさのり） ○ cipepser/cipe（さいぺ） ● LayerX AI・LLM事業部 LLMグループマネージャー ● これまで ○ 新卒で大手証券系SIerでネットワークエンジニア ○ 暗号資産分野で新規事業立ち上げ ○ TEEやPrivacyTechなど、技術を軸にした新規プロダクトの開発（LayerX歴5年） ● 現在 ○ Ai Workforce導入の高速化や、本番で使えるだけのLLMの精度達成を目指すLLMグループのマネージャー

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Ai Workforceの概要、機能

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© LayerX Inc. 6 多くのお客様に共通する「⽂章処理の課題」契約書やレポート作成時に、複数の資料を参考しているけど、フォーマットや構成がバラバラで欲しい情報を探すのが大変… 手作業でのコピー&ペーストも面倒くさい… 契約書が社内規定にあっているかのチェック業務に時間がかかっている。早く案件を進めたいのに… 過去資料検索が大変。結局ファイルを開いて中を見てみないとわからない。タグを付けるルールにしたけど誰も付けてくれない… “知的だが単純な作業”に多くの時間を取られている(疲弊している)

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© LayerX Inc. 8 抽出した内容が、元文書のどこに対応するのかを、ワンタッチで表示できるので、一目で内容レビューが可能（出典）Jin, Bowen, et al. "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG." arXiv preprint arXiv:2410.05983 (2024). 参照元ハイライト機能汎⽤性を保ちながら精度100%を追い求めることは⾮現実的。⼈間の⽬を借りる（Human in the Loop）

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2025 LayerX Inc. 10 Ai Workforceは情報のハブ専門性の高いドキュメントワークで扱うファイルを集約・分析。高品質なデータを蓄積することで、業務の自動化や可視化、検索の効率化を実現社内情報の連携 AIワークフローで解析・整理構造化して情報集積情報共有の加速業務効率化ドラッグ&ドロップ外部ストレージ連携高品質なレビュー済みデータを蓄積（Human in the loop）未整理なフォルダ・ファイル群 https://speakerdeck.com/layerx/ai-agent-for-enterprise-genai-product AIエージェントの取り組みも以下資料にて公開中既存の業務を分解し、 LLM-nativeに再構成（出典）Jin, Bowen, et al. "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG." arXiv preprint arXiv:2410.05983 (2024).

Slide 11

Slide 11 text

Ai Workforceの代表的なユースケース

Slide 12

Slide 12 text

© 2025 LayerX Inc. 12 製造・自動車・法令、論文、規制情報の調査・機微情報の自動マスキングによる情報共有・製品が法令や規格に適合するかどうかのレビュー金融・融資稟議書のドラフト作成、情報転記、内容レビュー・取引先のリスクアセスメント、監査・広告ガイドライン審査ヘルスケア・法令 (薬機法) 、論文、規制情報の調査・社内プロジェクト (基礎研究、非臨床試験、治験等) の整理と共有不動産・契約書からの情報抽出、情報転記、システム連携・法令、規制情報の調査・申し込み情報、アンケート情報の内容レビュー、情報転記金融や製造、ヘルスケア等の業界における様々な文書処理業務が中心。 Ai Workforceの主なユースケース ※トライアル中のケースも含みます。

Slide 13

Slide 13 text

© 2025 LayerX Inc. 13 • 数百ページあるアニュアルレポートから、アウトプットに必要な箇所を特定 • 貸借対照表、損益計算書、キャッシュフロー計算書などの専⾨性の⾼い「表」の情報から項⽬を抽出し、⾃社が定める勘定科⽬名称に分類 • 習熟までに時間を要した業務を、平準化アニュアルレポートから財務諸表を抽出し計算数百ページを、数分で「表」からの読み取り • 処理結果を、⾃社で作成したExcelフォーマットに出⼒ • 後続業務への連携を滑らかに Excelフォーマットに出⼒⼤量資料から、必要ページを特定し欲しい情報のみを抽出勘定科⽬を⾃社仕様に整理し、計算して出⼒出典：2023 3M Annual Report

Slide 14

Slide 14 text

© 2025 LayerX Inc. 14 • ポリシーに準じたリスク観点などを事前に設定することにより、その観点を踏まえた要約‧重要箇所の抽出 • 参照元も確認可能なため、レビューを効率化契約書レビュー⾼度な契約書のリスク確認を、効率化リスク観点の整理 • 契約書レビューにおいては「ポリシーにてらせば容易に判断可能なよくあるもの」「法務部の⾼度な判断が必要とされるもの」など、難易度も様々 • 前者について、事業部側でAi Workforceを使った簡易な事前確認ができるようにすることで、法務部の負荷軽減を図る法務確認前の、事業部での事前確認契約書レビュー観点を事前設定レビュー画⾯でレビュー観点や考慮事項を事前設定契約書観点が整理された内容

Slide 15

Slide 15 text

AIワークフロー開発の効率化

Slide 16

Slide 16 text

© 2025 LayerX Inc. 16 AIワークフロー vs AIエージェント？ AIエージェントは事前に入力が予測できない・網羅しきれいないなどの「非定型な業務」に対して強力なソリューションになりえるが、一つ一つのエージェントが確率的な動作をするため、エンジニアリング難易度が高い大企業には「定型化された業務」が存在し、動作や出力が予測可能であることが望ましい = AIワークフローの相性がいい Agent Agent Agent 定型業務をワークフローとして作り込む（将来的にはAgentが呼び出す Toolに）

Slide 17

Slide 17 text

© 2025 LayerX Inc. 17 AIワークフローと精度評価のサイクルをいかに高速化するかワークフロー精度評価 AIワークフローの構築で最も時間がかかるのが精度評価。「どこを間違えたのか」を素早くワークフローにフィードバックする必要がある課題正解データの作成評価作業 ● 新たに入力される資料に対応する「正解」は所与ではない ● 人手で正解データを作るため、ひたすら資料から yaml/jsonに転記... ● ドキュメントワークで取得したい項目は数十あることが多い ● プロンプトを変更すると、全く関係ないところも変化してしまう

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2025 LayerX Inc. 20 Ai Workforceにおける精度評価の対象単純な値を取得するもの文章が生成されるもの ● 著者名 ● 著者の所属 ● 実験に用いたデータセット ● … 項目 ● 要約 ● 論文が解決する課題 ● 先行研究との比較 ● … diff機能で対応可能単純な値は精度評価が容易だが、生成された文章は「人間が見て評価」しがち（とても大変。スケールしない）直接的な比較が難しい

Slide 21

Slide 21 text

© 2025 LayerX Inc. 21 一般的な精度評価手法評価メトリクスメトリクスの計測方法（出典）Jeffrey Ip. "LLM Evaluation Metrics: The Ultimate LLM Evaluation Guide", 2024. https://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation ● Answer Relevancy ○ 有益かつ簡潔な出力か ● Correctness ○ ファクトとして正しいか ● Hallucination ○ 捏造された情報が含まれているか ● Contextual Relevancy ○ コンテキストとして関連性が高いか ● Responsible Metrics ○ バイアスなどなく、有害でないか ● Task-Specific Metrics ○ ユースケースごとにカスタマイズするメトリクス

Slide 22

Slide 22 text

© 2025 LayerX Inc. 22 間接的な精度評価直接的にメトリクスを計算しなくても、間接的に上界・下界を抑える形で精度を評価できる例: 文章に最低限入っていてほしい「単語」の数を測る正解の文章意味の近い文章的外れな文章 LayerXのAI・LLM事業部では、エンタープライズ企業向けの生成AIプラットフォーム「Ai Workforce」を開発・提供しています。 AI・LLM事業部では、生成 AIを活用した「Ai Workforce」を開発し、エンタープライズ向けに提供しています。 LayerXでは、バクラク事業部、Fintech事業部、 AI・LLM事業部があります間接的な指標がチューニングによって正の方向へ変化すれば、「改善」しているので、精度評価の自動化へ繋がり、AIワークフローの開発自体がAgenticになっていく

Slide 23

Slide 23 text

AIオンボーディングの未来

Slide 24

Slide 24 text

24 © LayerX Inc. AIにどう仕事を学んでもらうか学び⽅のパターンマニュアル型 ● 標準化された業務の⼿続きを習得事例分析型 ● インプット‧アウトプットの事例から⼀般的なプロセスを発掘フィードバック型 ● ⼈のレビュー‧修正に基づき改善内省型 ● ⾃分で試⾏錯誤して改善 AI⾃⾝がやった事例から学ぶ⼈がやった事例から学ぶ AI⾃⾝で学習する⼈間から教わる

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

28 © LayerX Inc. 内省型 AIが⾃分で試⾏錯誤して改善マニュアル型事例分析型フィードバック型内省型 ChatGPTの学習に使われている、⼈間のフィードバックによる強化学習将来、Ai Workforceが企業ごとの報酬モデルを学習報酬モデル（出⼒を評価するモデル） LLM フィードバックに基づき学習⼈間のフィードバックで直接LLMが学ぶわけではない AI同⼠の「⾃⼰対戦」のように学習（今後AIの学習能⼒が⾶躍的に⾼まる⾒込み）