AIの誤りが許されない業務システムにおいて“信頼されるAI” を目指す / building-trusted-ai-systems

2025年12月10日 AIエージェント実装の壁と突破口〜プロダクト実装の実践知〜
(https://globis.connpass.com/event/374230/) における発表資料です。

（そもそも不可能な）100%正解する “完璧なAI”ではなく、誤りから学び、成長し続けることで中長期でより大きな価値を提供する “信頼されるAI” を目指そう。そのために適切なユーザーフィードバックを収集する仕組みを作ろう。という話をしました。

Transcript

1. © LayerX Inc. AIの誤りが許されない業務システムにおいて “信頼されるAI” を⽬指す 2025/12/10 AIエージェント実装の壁と突破⼝〜プロダクト実装の実践知〜 株式会社LayerX Yuya Matsumura(@yu-ya4)
2. © LayerX Inc. 2 バクラク事業部 AI‧機械学習部 部⻑ / 機械学習エンジニア 経歴 2018/3：京都⼤学⼤学院 情報学研究科 修⼠課程修了 2018/4：ウォンテッドリー株式会社 ⼊社 • ⼀⼈⽬データサイエンティストとして推薦システム開発チーム の⽴ち上げなど • その後、テックリードやEM、PdMなどを兼任 • 退職後は機械学習領域の技術顧問に就任 2022/10：株式会社LayerX ⼊社 • 機械学習とかLLMとかAgentとかやってます その他、⼤学にて⾮常勤講師やスタートアップの技術⽀援等 画像を入れてね ⾃⼰紹介 松村 優也（Yuya Matsumura） @yu__ya4
3. 3 © LayerX Inc. 経理の現場では、AIの「間違い」は許されない 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 「AIなんだから間違えることもある」 「１円のミスも許されない」
4. 4 © LayerX Inc. LLM時代がもたらす新たな難しさ 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 出⼒の曖昧さ 唯⼀の正解が存在しない タスクへの適⽤。正解‧ 誤りにも “程度” がある。 期待の変化 世の中のAIリテラシーへの 向上により、「改善されな いAI」は信頼されない時代 に toB特有の制約 低頻度利⽤、⾼い精度要 求、多様な社内ルール。 誤りが業務を⽌めてしま うリスク。
5. 5 © LayerX Inc. AIプロダクトを「作る」から「育てる」へ 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか
6. 6 © LayerX Inc. ユーザーフィードバックの２つの種類 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 明示的フィードバック （Explicit Feedback） 暗黙的フィードバック (Implicit Feedback) ユーザーが意図して「良い/悪 い」を直接⽰すことで得られる。 ユーザーの⾏動から間接的に意 図を推測することで得られる。
7. 7 © LayerX Inc. 明⽰的フィードバック：正確だが、量は少ない 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか ⾼い正確性（意味が明確な教師データとして有⽤） ユーザーがAIの出⼒に対し、直接ラベルを付ける⾏為。 データ量が少ない、ユーザー負担が⼤きい（多くのユーザーは⾯倒に感じる）
8. 8 © LayerX Inc. 暗黙的フィードバック：⼤量に得られるが、ノイズも多い 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか データ量が豊富、ユーザー負担が少ない ユーザーの⾏動ログから間接的に満⾜や不満を推測する 解釈が難しい（⾏動の理由が⼀意に定まらない） • 記事をクリックした • ChatGPTの出⼒をコピーした • 動画を最後まで視聴した
9. 9 © LayerX Inc. 2種類のフィードバックを組み合わせることで良いループを作成する 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 明⽰的フィードバックで精度を担保しつつ、暗黙的フィードバックでカバレッジを広げる
10. 10 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか レビュー ルール 過去の 申請データ 社内規定等 レビュー AI 交通費の経費精算時には 「訪問先」と「訪問⽬的」を 「内容‧メモ」に⼊⼒する必要がある バクラクAI申請レビューでの挑戦 申請内容の不備をAIが⾃動で検知‧指摘することで、正しい申請作成をサポートするAIエージェント
11. 11 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか ユーザー体験を毀損せずに、フィードバックを収集する ユーザー体験 誤った指摘を無視して作業を 進めるという⾃然な⾏動 裏側の仕組み AIに対する「間違っていた」という明 確なフィードバックとして記録 業務フローの中にフィードバック収集の仕組みを⾃然に組み込む
12. 12 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 明⽰的フィードバックとはいえ、必ず正しいとは限らない。量も少ない 差し戻し が、実はユーザーは修正がめんどうでスキップしただけか もしれない...
13. 13 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか 明⽰的‧暗黙的フィードバックを組み合わせた評価判定フローの作成
14. 14 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか フィードバックループを回し続ける仕組み（AI‧LLMOps）
15. 15 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか （そもそも不可能な）100%正解する “完璧なAI”ではなく、 誤りから学び、成⻑し続けることで 中⻑期でより⼤きな価値を提供する “信頼されるAI” を⽬指す そのために不可⽋なのは、 “⾃然な体験でフィードバックを収集できるUX”と “フィード バックから学ぶ仕組み” の設計である。
16. © LayerX Inc. 16 本発表は技術書典で販売した LayerX Tech Book1 に寄稿したものがベースとなっています！ 電⼦版 好評発売中！ こちらから 購⼊できます↓ 宣伝