生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay

2025/8/1 にLayerXで開催されたAIカンファレンス「Bet AI Day」における登壇資料です。

登壇者
- バクラク事業 AI・機械学習部 部長 松村 優也
- バクラク事業 AI・機械学習部 Tech Lead 島越 直人

Transcript

1. © LayerX Inc. ⽣成AI時代における AI‧機械学習技術を⽤いた プロダクト開発の 深化と進化 バクラク事業 AI・機械学習部 部長　松村 優也 MATSUMURA, Yuya バクラク事業 AI・機械学習部 Tech Lead　島越 直⼈ SHIMAKOSHI, Naoto 7Bets on AI — Session 7 © LayerX Inc.
2. © LayerX Inc. Speaker バクラク事業 AI‧機械学習部 部⻑ 京都⼤学⼤学院にて情報検索‧情報推薦の研究に従事 し、AI‧機械学習の世界に。 2018年に新卒でウォンテッドリー株式会社に⼊社。推薦 システムチームの⽴ち上げに携わった後、テックリー ド、プロダクトマネージャー、エンジニアリングマネー ジャーを兼任。退職後、AI領域の技術顧問に就任。 2022年9⽉にLayerXに⼊社。バクラクを横断したAI‧機 械学習技術を活⽤したプロダクト開発に携わる。 その他の活動として、⼤学の⾮常勤講師、オライリー‧ ジャパン『推薦システム実践⼊⾨』を共著で執筆など。 松村 優也 MATSUMURA, Yuya
3. © LayerX Inc. 業務の完全⾃動運転の実現にむけて Chapter 1 パーソナライゼーションされた業務の⾃動運転
4. © LayerX Inc. たとえば、出張予定をカレンダーに登録すると出張に伴う諸業務が完了する世界が⾒えている LayerX / バクラクは “業務の完全⾃動運転”を⽬指す 業務の完全⾃動運転の実現にむけて 出張予定が カレンダーに登録 トリガー バクラク AIエージェント 出張内容をもとに 事前の出張申請を作成 社内規定に沿った 交通⼿段や宿泊施設を⼿配 出張期間中の経費精算など 事後の申請を作成 ユーザー 確認 承認 業務の遂⾏
5. © LayerX Inc. AI‧機械学習技術を活⽤してより⾼いレベルの業務の⾃動運転を⽬指す 業務の完全⾃動運転の実現にむけて
6. © LayerX Inc. 多くの企業が共通して持つ発⽣頻度の⾼いユース ケースを満たす、汎⽤的な機能を開発して提供す るのがこれまでの⼀般的なSaaS 会社ごとに多様な個別性が⾼く発⽣頻度の低い ユースケースを満たすための機能は、開発リソー スやシステム的な制約などの理由で開発できず システムに合わせる形で業務を変更いただいた り、運⽤でカバーいただくしかないというのが現 状であり、業務の完全⾃動運転に向けた壁となっ ている 従来のSaaSの限界 業務の完全⾃動運転の実現にむけて SaaS Use Case Use Case Use Case SaaS Use Case Use Case SaaS Use Case Use Case Use Case Use Case Use Case
7. © LayerX Inc. “⾃律性”や“知性”により、⼈間が判断して実施している多様なユースケースを⾃動化出来る可能性 業務の完全⾃動運転の実現の鍵となるLLM‧AI エージェント 業務の完全⾃動運転の実現にむけて メール‧カレンダー 外部サービス 社内規定など業務知識 ツール ルール ユーザー AIエージェントが業 務を遂行 トリガー 利⽤ チェック データ取得‧登録 確認 承認
8. © LayerX Inc. AIエージェントが⾃律的に動き知性を発揮するこ とのできる環境を作ることで、主要なユースケー スの隙間を埋め合わせていく。 これまでは諦めていた個社ごとの業務フローをAI エージェントが代わりに実施する、パーソナライ ゼーションされた業務の⾃動運転を実現する。 AIエージェントの⼒で SaaSの限界を超えていく 業務の完全⾃動運転の実現にむけて SaaS Use Case Use Case Use Case SaaS Use Case SaaS Use Case Use Case Agent Platform Use Case Use Case Use Case Use Case Use Case
9. © LayerX Inc. パーソナライゼーションされた 業務の⾃動運転 業務の完全⾃動運転の実現にむけて
10. © LayerX Inc. パーソナライゼーションされた 業務の⾃動運転の実例 Chapter 2
11. © LayerX Inc. パーソナライズド AI-OCR *特許出願中 従 来のAI-OCRでは難しかった、ユースケースに 合わせて値を読み取ることが可能に。 お客様ごとの運⽤に合わせてAIが学習します。 複数の値を同時に読み込み AIが推薦 STEP.1 お客様の選択を学習していき 運⽤に最適化していく STEP.2 パーソナライゼーションされた業務の⾃動運転の実例①
12. © LayerX Inc. ホテルの領収書で読み取りたいのは チェックアウト⽇ or 決済⽇ CASE.1 請求書で読み取りたいのは 税抜請求⾦額 or 税込請求⾦額 CASE.2 運⽤⽅法や業務の⽂脈など、顧客ごとのユースケースによって読み取りたい値が変わるという課題を解決 パーソナライゼーションされた業務の⾃動運転の実例①
13. © LayerX Inc. パーソナライゼーションされた業務の⾃動運転の実例②
14. © LayerX Inc. AIエージェントの⾃律性や知性をもとに個社ごとの多様な運⽤をカバーする 学習したレビュールールをもとにAIが申請内容をリアルタイムレビュー パーソナライゼーションされた業務の⾃動運転の実例② レビュー ルール 過去の 申請データ 社内規定等 レビュー AI 交通費の経費精算時には 「訪問先」と「訪問⽬的」を 「内容‧メモ」に⼊⼒する必要がある
15. © LayerX Inc. AI申請レビュー デモ② カフェでの打ち合わせは原則禁⽌ ⾮構造化データを対象としたカテゴリ分類 パーソナライゼーションされた業務の⾃動運転の実例②
16. © LayerX Inc. AI申請レビュー デモ① タクシー利⽤時には乗⾞経路と乗⾞理由の記載が必要 ⾮構造化データを対象とした情報抽出 パーソナライゼーションされた業務の⾃動運転の実例②
17. © LayerX Inc. AI申請レビュー デモ③ タクシー利⽤時には業務上必要だとわかる妥当な理由の記述が必要 会社ごとの基準に合わせた妥当性の判断 パーソナライゼーションされた業務の⾃動運転の実例②
18. © LayerX Inc. 鍵となるAgentic Workflow Chapter 3
19. © LayerX Inc. 丸投げではなく、シンプルな課題群へと分解することがポイント “LLM / AIエージェント でポン” ですべての課題を解決するのは困難 鍵となるAgentic Workflow 請求書 仕訳N⾏ 仕訳の作成 請求書 仕訳N⾏ 表抽出 ⾏から仕訳を作成 ユーザに フォールバック 仕訳に使⽤する ⾏抽出 例) 請求書の明細表から複数仕訳を作成するタスク
20. © LayerX Inc. ⾃律性と決定性を兼ね揃えたAgentic Workflowが鍵となる 鍵となるAgentic Workflow 事前定義された決定的なAI Workflow、ドメイン特化した⾼性能toolなどをエージェントが利⽤可能 [1] What's next for AI agentic workflows ft. Andrew Ng of AI Fund
21. © LayerX Inc. ひとつひとつの tool の性能が90%でも、３つ連なるだけで最終的な性能は73%にまで落ちる 不確実な処理が連なるからこそ、toolの性能が重要に 鍵となるAgentic Workflow 表抽出 仕訳に使用する 行抽出 行から仕訳作成 90% 90% 90% ✖ ✖ 🟰 73% 仕訳N行
22. © LayerX Inc. ⾃律性と決定性を兼ね揃えたAgentic Workflowが鍵となる 鍵となるAgentic Workflow [1] What's next for AI agentic workflows ft. Andrew Ng of AI Fund 事前定義された決定的なAI Workflow、ドメイン特化した⾼性能toolなどをエージェントが利⽤可能 このtool群をいかに開発する のかを後半パートでご紹介
23. © LayerX Inc. Speaker バクラク事業 AI‧機械学習部 Tech Lead 京都⼤学⼤学院にて睡眠医療への機械学習応⽤研究に従 事した後、2019年にDeNAに新卒⼊社。 DeNAでは、タクシーアプリの機械学習システムの開発や ライブストリーミングサービス、オークションサービス の推薦基盤の開発に携わる。 LayerXには2023年4⽉に⼊社し、AI-OCRなどの機械学習 機能開発全般を担当。Kaggle Grandmaster。 島越 直⼈ SHIMAKOSHI, Naoto
24. © LayerX Inc. 良い Tool を実現する技術選定 Chapter 4
25. © LayerX Inc. 単純なAPIや関数呼び出しのみならず、機械学習モデルや事前に課題を分解した決定的なAI Workflow、 ⼈間による介⼊などもすべてToolとして捉える Agentic WorkflowにおけるTool Toolの技術選定 ML Model API Orchestrator (Leader Agent) Human Private API OSS LLM API LLM API AI Workflow AI Agent
26. © LayerX Inc. 識別モデルのような 既存の機械学習モデル 良いToolを実現するにはその技術選定が重要になる Toolの技術選定 ⼩ 不確実性 請求書から仕訳を作成 ⽂字抽出 表抽出 仕訳に使⽤する⾏抽出 仕訳予測 マスタ紐付け ⼈間にフォールバック 決定的に振る舞うAPI OSSの⽣成AIを 事後学習したモデル フロンティア⽣成AI API ⼤ どのToolを選択するか あるタスクを実現するための⼿段は多数存在するが、その技術選定が腕の⾒せ所
27. © LayerX Inc. とりあえずフロンティア⽣成AIを 使えばいいわけではない Toolの技術選定
28. © LayerX Inc. 識別モデルと⽣成モデル※の性質の違いを理解して使うことが重要 識別モデルと⽣成モデルの違い 条件付き確率      識別モデル 固定次元のラベル、スカラー値 事例) クラス分類、時系列予測、ランキング 1. 出⼒空間がクラスなど低次元 2. ⼀般的に計算効率が良い 3. 関連情報を特徴量として加える 同時確率     (LLMはNTPタスクで⽣成分布を獲得) ⽣成モデル (LLM) 可変⻑のテキスト列 事例) 翻訳、要約、コード⽣成 1. 出⼒空間が語彙サイズなど⾼次元 2. ⼀般的に計算効率が悪い 3. 関連情報をContextとして加える 学習対象 ※Diffusion型のLLMや画像⽣成モデルもありますが、本発表ではDecoderモデルのLLMに絞って説明 出⼒ 特徴
29. © LayerX Inc. 追加のインフラコストはかかるが、検討する価値がある OSSのSmall Language Modelへの注⽬が⾼まる 精度[1] 扱いやすさ[2] • Agentic Workflowでタスクを分解して いくと多くの場合構造化データ抽出に 落ち着く • 10B以下のサイズのSLMで10k~100kの データサイズで⼀般的な構造化データ 抽出なら事後学習データとしては⼗分 な精度が出ることが多い • 定期的な学習により、新しいフォー マット‧要件にも適応可能 • テキストとしてではなくパラメータと してメモリを保持するため、複雑なプ ロンプトエンジニアリングやコンテキ ストエンジニアリングの運⽤から解放 される 識別モデルと⽣成モデルの違い [1] Small Language Models are the Future of Agentic AI [2] AI-native Memory: A Pathway from LLMs Towards AGI 1 2 1 2
30. © LayerX Inc. バクラクの実データを⽤いた⽐較実験により、モデルごとの特徴を確認する 帳票データから構造化データを抽出するタスクで⽐較実験 訓練 データ OCRによる帳票からの⽂字検出結果を利⽤ 訓練データは識別モデルが約7000サンプル、 ⽣成モデルが約2000サンプル 識別モデルと⽣成モデルの違い 評価 データ 細分化された27ラベル (1588サンプル) • ⽇付: 5 (発⾏⽇、請求⽇ など) • ⾦額: 10 (請求⾦額、未払⾦額 など) • 取引先名: 12 (発⾏会社名、部署、担当者名 など) モデル • 従来の識別モデル (RoBERTa, ModernBERT) • OSSの⽣成モデル (Qwen3-4B/8B) • APIで提供されている⽣成モデル (GPT4.1, Claude)
31. © LayerX Inc. ⽂書から⾦額を抽出したいと考えた場合 識別モデルと⽣成モデルの違い • 事前定義されたラベルを元の⽂字列に付与していく • 事前定義したラベル以外の出⼒をすることがない ため、コントローラブル • 元の⽂字列を改変することはない • 逆に事前定義したもの以外は出⼒できない • 事前定義された語彙の中から 抽出したいフォーマットに合わせて出⼒ • 推論時に定義するとあらゆるラベルを抽出できる • 正しいフォーマットで出⼒できるかも 精度に影響してくる • 元の⽂字列が改変される可能性がある totalAmount “...合計⾦額（税込） ¥12,000 請求書 発⾏⽇ ...“ other other “...合計⾦額（税込） ¥12,000 請求書 発⾏⽇ ...“ { “totalAmount”: { “rawText”: “¥12,000”, “processedValue”: 12,000, } … } 出⼒空間 識別モデル ⽣成モデル 1 2 3 4 1 2 3 4
32. © LayerX Inc. 識別モデル ⽣成モデル ⼀般的に識別モデルの⽅がパラメータ効率やレイテンシが良い 計算効率 識別モデルと⽣成モデルの違い • 従来のRoBERTaやDeBERTaといった Encoderモデルは~350Mパラメータほど • データを⼀度に⼊⼒して⼀度に出⼒するた め推論が⾼速になりやすい • フロンティアモデルのモデルサイズは公開さ れていないが、同等の精度を持つ DeepSeek-R1やQwen3で数100Bパラメータ • ⼀⽂字ずつ⽂字を⽣成するため ループを回す分だけ推論に時間がかかる • 最近ではKVキャッシュ技術の進展や 蒸留などによる⼩規模モデルでの精度向上 などにより効率が良くなってきている 1 2 1 2 3
33. © LayerX Inc. • RoBERTaのレイテンシは中央値で⽣成モデルより100倍ほど⾼速。 • 事後学習したQwenと⽣成モデル APIのレイテンシに⼤差はないが、 APIは期待したフォーマットを⼀度で出せずリトライの影響でレイテンシが伸びる傾向がある。 識別モデルと⽣成モデルのレイテンシ⽐較 識別モデルと⽣成モデルの違い ※RoBERTaとQwenはA100 GPU環境(a2-highgpu-1g)で直列に推論した結果
34. © LayerX Inc. • 精度は事後学習したQwen4Bモデルが⼀番⾼い。 • ⼀般的に良く使われるコストの低いGPT4.1-miniなどはRoBERTaよりも精度が20ptほど劣る。 • ⾦額や⽇付といった⼀般的な項⽬については、LLMの精度が優勢になることも。 識別モデルと⽣成モデルの精度⽐較 識別モデルと⽣成モデルの違い
35. © LayerX Inc. • 27ラベルという階層構造もある複雑なスキーマの予測でも 約2000サンプルほどで正しいフォーマットを出⼒できるようになる。 • 少数データの訓練で前述のようにフロンティア⽣成AIモデルに匹敵する精度を獲得。 • NVIDIA RTX 6000 Ada (48GB)を⽤いた学習で8,9hourほどで訓練可能。 OSSのSmall Language Modelの事後学習効果 識別モデルと⽣成モデルの違い
36. © LayerX Inc. パーソナライズドAI-OCRと同じ設定で⽐較実験 ランキングタスクで⽐較実験 訓練 データ バクラクユーザの過去の⼊⼒履歴を利⽤ • 識別モデル：特徴量エンジニアリング + 学習 • ⽣成モデル：過去のユーザ⼊⼒値とテキストペアを 与えてIn-Context Learning 識別モデルと⽣成モデルの違い 評価 データ ⽇付‧⾦額‧取引先名の 3ラベル (1588サンプル) 最終的にユーザが⼊⼒した値を推薦できているかを評価 モデル • パーソナライズドAI-OCR (識別モデル) • APIで提供されている⽣成モデル (GPT4.1, Claude) A社 C B社
37. © LayerX Inc. 識別モデル ⽣成モデル 複数の候補を並び替えるというタスクを考えた場合 識別モデルと⽣成モデルの違い • 各候補に対してランキングスコアを 付与する • スコアの理論的な解釈性があるので 扱いやすい • 何かしらの基準で内部的に並び替えられた ⽂字列が⽣成される • ⽣成されるのは⽂字列なので 追加でIDへのマッピングが必要 出⼒空間 1 2 1 2
38. © LayerX Inc. 特徴量エンジニアリング VS コンテキストエンジニアリング 履歴情報など関連情報の取り扱い⽅ 識別モデルと⽣成モデルの違い • モデルが認識できる形に落とし込むため ⼀般的に省メモリに関連情報を取り込める • ⻑期の情報も取り込みやすい • 状況に応じて特徴量を動的に変えたり することができないため ある程度汎⽤的な⽤途に限られる • 数値情報の特徴を扱いやすい • Promptの⼀部に⾃然⾔語で組み込むため ⼀般的に推論コストが⾼くなる • 動的にコンテキストを切り替えることで 多様な状況に対応できる • 時系列予測など、この特徴に⽐例して欲しい といった挙動をさせにくい 平均値 最⼩値 最⼤値 Embedding化 Model 数値データ化 DB Model Promptに追加 DB ~~~~~~~~~ 過去の例:\n {{ examples }} ~~~~~~~~~ 識別モデル ⽣成モデル 1 2 3 4 1 2 3
39. © LayerX Inc. • 単純にContextに過去の選択結果を⼊れるだけのコンテキストエンジニアリングでは、 ⼀貫してパーソナライズドAI-OCRの⽅が精度が⾼い結果になった。 • 過去データを構造化して保持している場合、 特徴量エンジニアリングの⽅が追加の特徴を与えやすい⾯も精度向上に寄与。 識別モデルと⽣成モデルの精度⽐較 識別モデルと⽣成モデルの違い
40. © LayerX Inc. タスクプランニング能⼒などAgentic WorkflowでのOrchestrator能⼒ • 今回検証していないo3などの推論モデルを利⽤して、Toolの実⾏計画を⽴てることができる。 データがないコールドスタートの状態で精度を発揮できる • まずフロンティア⽣成AIのAPIを⽤いたプロトタイプで市場の反応を⾒ることができる。 動的な⼊⼒や柔軟なフォーマットでタスクをこなすことができる • 申請理由などの⾃由⼊⼒欄に対してのレビュー機能 • ⼀部のお客様でしか必要とされないような反復的ではない項⽬の抽出 とはいえ、⽣成モデルのAPIが優れているところ ⽣成モデルAPIの活かしどころ
41. © LayerX Inc. まず⽣成モデルAPIでMVPを作成し、呼ばれる頻度や反復性、データの蓄積に従って 識別モデルやOSSの⽣成モデルのファインチューニングで精度改善‧コスト削減を狙う これらを踏まえてAI‧機械学習プロダクトを作っていくか 今後の開発の⽅向性
42. © LayerX Inc. バクラクにおける検証‧開発事例 Chapter 5
43. © LayerX Inc. 候補抽出モデルを作るためのデータが存在しない プロダクトのログとしてあるのは最終的にユーザが⼊⼒した ⽇付‧⾦額‧取引先名のみ どのような⽇付なのかの「意味」まで含めてのラベルが欲し いが、アノテーションが貯まるのを待つと開発リードタイム が⼤きくなる アノテーションの⽅針も精度を確認しないと定まりにくい パーソナライズドAI-OCRの課題 バクラクにおける機械学習プロダクト開発の例 1 2 3
44. © LayerX Inc. フロンティア⽣成モデルAPIで疑似アノテーションすることで開発⾼速化 単純にLLM APIに置き換えてしまうと⼤幅なレイテンシ悪化 になりリクエスト数も多いためコストもかかってしまう。 まずフロンティア⽣成モデルのAPIを⽤いて疑似的に アノテーションを⾏ったデータで開発を⾏い、 問題設定として正しいかを早期に確認することで 開発サイクルを⾼速化。 パーソナライズドAI-OCRの開発⽅針 バクラクにおける機械学習プロダクト開発の例 1 2
45. © LayerX Inc. AI申請レビューの課題 バクラクにおける機械学習プロダクト開発の例 動的な⼊⼒内容‧ルールへの対応、⾃然⾔語の応答や即時性が必要 レビュー対象は内容‧メモ欄に記⼊されるような⾃然⾔語や 添付ファイルなどの⾮構造化データの内容。 なるべくリアルタイムにレビュー結果を返却したい。 レビュー結果がNGの場合は 理由をユーザーにフィードバックできるようにしたい。 どのような申請ルールになっているかはお客様によって様々。 1 2 3 4
46. © LayerX Inc. ⼊⼒の多様性やデータ量の観点からLLM API、汎⽤的なルールの⾼精度化にAI Workflowを採⽤ ⼊⼒がルールによって動的に変わるため 汎⽤的に学習するのが困難。 幅広いユースケースをカバーでき、 フィードバックも返すことができるLLM APIを採⽤。 ⼊⼒token数が多くないのでリアルタイム性も問題ない。 頻度⾼く利⽤されるようなルールは AI Workflow化することで決定的にすることで⾼精度化。 後々のためにより⾃律的に差し戻しデータなどから 学習‧適応できるようにデータを蓄積 AI申請レビューの開発⽅針 バクラクにおける機械学習プロダクト開発の例 1 2 3 4
47. © LayerX Inc. 過去データが存在せず、表の構造も動的に変わるため構造化が困難 表のどの内容に対してどのような仕訳が切られていたか 過去データが存在せず事前検証が困難。 請求書に記載されている表はカラム名や表組みが動的に変化。 元の表のどの部分から仕訳が切られたのか分からないと 結果のレビューが困難 ⽣成AIモデルを⽤いると表の⾏数がずれるなどの 絶対に間違えて欲しくない部分でのハルシネーションが発⽣する。 AI明細仕訳※の課題 バクラクにおける機械学習プロダクト開発の例 ※ ※開発中の名称です 1 2 3 4
48. © LayerX Inc. まずLLM APIでMVPを作成し需要調査、⼀部をユーザにフォールバックして精度を担保 データがないためまずはLLM APIを⽤いて仕訳推論APIを作成して ユーザヒアリング。 表抽出部分は識別モデルを使うことで位置情報を取得できるようにし、 どの⾏からどのような仕訳が作成されたかを分かるように。 ⾏数といった間違えたくない要素はユーザにフォールバック。 仕訳の作成部分は動的な⼊⼒に対応できるように初期はLLM API。 ただし、レイテンシやコスト、精度を改善するために 後々識別モデルに切り替えられるようなデータを 蓄積できるようにしておく。 AI明細仕訳※の開発⽅針 バクラクにおける機械学習プロダクト開発の例 ※ ※開発中の名称です 1 3 2 4
49. © LayerX Inc. 最後に Chapter 5
50. © LayerX Inc. まとめ 業務の完全⾃動運転に向けて Toolの技術選定の重要性 業務の完全⾃動運転に向けて精度の⾼いToolを揃える • 識別モデルと⽣成モデルの特性を理解し 適材適所で使い分ける • プロダクト開発をする時は ⽣成モデルで解けるタスクであれば まず⽣成モデルのAPIを⽤いてMVP作成 • ⾼頻度に呼ばれるようになった時に 識別モデルやOSSの⽣成モデルに 切り替えられるように ログを溜める仕組みも重要 • AIエージェントの⾃律性と知性により ⼈間が判断して実施している多様な ユースケースを⾃動化 • 従来のSaaSでは対応できないような 個社ごとの業務フローを AIエージェントが代わりに実施 • ⾃律性と決定性を兼ね備えた Agentic Workflowが鍵となる 1 2 1 2 3 3
51. © LayerX Inc. 業務の完全⾃動運転を実現するために ⾼精度なAgentic Workflowを 構築していきます 最後に