freeeにおけるEvalsの実践例の紹介

7/28に実施された「LLM Opsの実践　SaaSに組み込んだAI機能の品質・コスト・改善サイクル」(【主催】株式会社アンチパターン、【共催】ファインディ株式会社)にて、弊社エンジニアの@shallow1729が登壇した際の資料です。

Transcript

1. freeeにおけるEvalsの実践例の紹介
2. Kengo Nakamura • 2018年から社会⼈ • web企業を中⼼にインフラや DBRE、アプリ開発、技術サ ポートを経験 • 今はAIラボでAI関連のプロダク ト開発や基盤構築をしている shallow1729 2
3. 直近携わったプロダクト AIデータ化サービス freee AIアシスタント 3
4. 今⽇話す事、話さない事 話す事 話さない事 • LLMプロダクトにおけるEvals の重要性の紹介 • LLMモデル⾃体の開発やデプロイ • ⾃動で改善みたいなかっこいい話 • freeeのEvalsの基本的な考え⽅ • 明⽇からやれそうな実践例の 紹介 4
5. 01 LLMプロダクトとEvalsの基礎 目次 02 freeeでのEvalsのコンセプト 03 OCRシステムを例にした実践例 04 実践的なアドバイス 5
6. 01 LLMプロダクトとEvalsの基礎 目次 02 freeeでのEvalsのコンセプト 03 OCRシステムを例にした実践例 04 実践的なアドバイス 6
7. プロダクトの部品として⾒たLLM 基本的には⼊⼒に対して出⼒を返すAPIの⼀種に過ぎないが...    確率的な動作 コストがかかる 遅い • 同じ⼊⼒でも結果が 変わる • エラーか判別しづら い • 1リクエストで数円 • 秒のオーダーが普通 LLMプロダクトには新しい開発、運⽤体制が求められる 7
8. LLMプロダクトのアーキテクチャ ワークフロー AIエージェント 8
9. Evalsとは SPECIFY 何を持って優れてい るかを定義 MEASURE 実環境に即した条件 でテスト IMPROVE エラーから学ぶ 参考: 企業の AI 活⽤を次のフェーズへと進める evals の⼒ https://openai.com/ja-JP/index/evals-drive-next-chapter-of-ai/ Evalsは評価と検証をもとに継続的な改善を⾏う開発フレームワーク 9
10. なぜEvalsが重要か    デモと実運⽤の ギャップ 独⾃の⽂脈での 評価の重要性 継続的な改善の 価値 • N=1のデモと実ワーク ロードは全然違う • 出した結果から学ぶ事 が重要 • 汎⽤的な指標を過信し ない • 評価基準をプロダクト の⽅向性を決める • ものづくりそのものの 障壁は下がっている • 継続的な運⽤のうまさ が勝負を決める Evalsが他プロダクトとの違いを作る 10
11. 01 LLMプロダクトとEvalsの基礎 目次 02 freeeでのEvalsのコンセプト 03 OCRシステムを例にした実践例 04 実践的なアドバイス 11
12. LLMプロダクトの継続的な改善 開発体制とモニタリング 評価設計 • プロダクトKPIや評価指標をきちんと 考える • 出してから改善する前提で開発体制や 開発計画を組む プロダクト 改善 継続的な改善ループ • 事前検証はもちろん、デプロイ後の評 価を継続的に⾏う • 評価から得られたフィードバックを元 に、プロダクトや評価を継続的に進化 させる オフライン 評価 エラー分析 オンライン 評価 デプロイ プロダクトも評価も継続的な改善を前提にする 12
13. Evalsを⽀える組織⽂化と基盤  組織⽂化  基盤の作り込み • 「失敗して攻めよう」の⽂化 • LLMプロダクトを安全に分析するた めの環境 • AI戦略への⼤規模な投資 ◦ Langfuseやデータ基盤 • プロダクトOKRの達成にフォーカス するPdLというエンジニアロール • ユーザートラッキングの標準化 • Evalsを⽀える横断組織 • プロダクト毎のコスト評価の仕組み Evalsの実践には組織⽂化や基盤も重要 13
14. 01 LLMプロダクトとEvalsの基礎 目次 02 freeeでのEvalsのコンセプト 03 OCRシステムを例にした実践例 04 実践的なアドバイス 14
15. AIデータ化 概要とリリース 初期のユーザーフィードバック • オペレーターによる⼿⼊⼒では なく、AIによって⾃動でデータ 化を⾏うプロダクト • 2025年10⽉にβ版リリース • 反応は上々 • ネガティブなFBもあり ◦ 「遅い」 ◦ 「空のデータが納品される」 15
16. Evalsの最初の⼀歩 01 02 03 04 ⽬標設定 体制構築 分析と細分化 可視化と循環 「95パーセンタ イルで5分以内」 のような、実⽤ 的で現実に即し た⽬標をひとま ず設定 計測、評価、改 善を⾏う横断的 な組織を作る • インフラ • プロダクト • AI 1. 取得したログ を分析 2. 課題を細分化 3. 改善効果の⾼ い問題にアプ ローチ • ⼿元での改善 検証 • デプロイ後の エラー率や速 度の変化の検 証 地道に改善プロセスが回るようにチームや環境を整備する 16
17. 初期の課題の原因と解決 サイズ エラー 多様だが個々はバリデーションやエ ラーハンドリング、プロンプトの調 整などで解決できる問題 →継続的な改善で エラー率を10%から0.1%以下に ※ ジョブキューのワーカーが1つしか なく、処理が詰まっていた → スケーリングの調整により99% で5min以下に※ ※エラー率や速度は約束するものではありません AIの専⾨性よりはトラブルシューティングのスキルが重要 17
18. より⾼度なEvalsに向けた網羅的な評価 01 02 03 プロダクトKPIの評価 ユーザー⾏動起点のオン ライン精度評価 出⼒に対するオンライン 精度評価 納品結果の編集などの⾏動を トラッキング ⼊出⾦額と残⾼変化の⼀貫性 など 04 05 06 ダッシュボードの構築 可視化により改善効果が 直感的に分かるように オフライン評価の実施 ⼤規模で網羅的なデータ セットによる精度検証 ⼤規模な分析と改善 証憑画像やLangfuseのト レースを⽤いた分析 OCRの利⽤量などのビジネス 指標 こなれてきたらブラッシュアップしていく 18
19. 継続的な評価と精度の改善 評価の改善 精度の改善 オフライン評価とオンライン評 価で改善度合いに乖離が発⽣ 結局モデルの変更やバージョン アップが⼀番強⼒ →評価データセットの統計分布 やアノテーションの品質などの 課題を検知 →データセットの改善とより⾼ 度なデータリテラシーの獲得 ただしオフライン評価で検知で きなかったエラーがデプロイ後 発覚したケースも →モデル変更⾃体は簡単だが、 頑強な評価体制の構築が重要 失敗から学ぼう 19
20. 01 LLMプロダクトとEvalsの基礎 目次 02 freeeでのEvalsのコンセプト 03 OCRシステムを例にした実践例 04 実践的なアドバイス 20
21. 実践的なアドバイス: テクニック 1. 課題を分解して解く • ⾊々な切り⼝で問題を分解し て、解ける問題を解こう • 問題の理解に時間をかけよう 2. 初期の開発アイテムは最⼩限 • SNSやブログや論⽂を⾒るとあ れもこれもとなるが、実はいら ない事もある 3. ⼀次情報を⼤事にしよう • ドッグフーディングや⽣のロ グ、ユーザーFBの分析も⼤切 にしよう 4. 使われる道具に整備しよう • Langfuseみたいな道具を選ぶ だけでなく、ログの構造化など の整備もやる ソリューションより分析に重きを置こう 21
22. 実践的なアドバイス: ⼼構え 1. Evalsはなんとしてでもやる • ⼀般的な開発アイテムと混ぜる とそちらが優先されがち • チームを分けてでもやろう 2. メンタルケアを⼤切に • LLM⾃体新しいしゴールが⾒え ず、不安になる事もある • よく休んで前向きに頑張ろう 3. コミュニケーションを丁寧に • Evalsはステークホルダーが多 くなりがち。お互いに歩み寄っ て⽬線を合わせよう 4. 細かい気づきを⼤切に • 違和感から⼤きな発⾒につなが るかも。厳しい⽬で⾃プロダク トをよく⾒つめよう まずは⼀歩始めよう！ 22
23. まとめ 01 LLMプロダクトの開発はEvalsが鍵 継続的な改善を前提として組織⽂化や基盤を育てよう 02 ソリューションに引っ張られないようにしよう ユーザーに届けたい価値を中⼼にして、頑強な評価に重きを置こう 03 ⼩さくても泥臭くてもまずは評価を始めよう 評価もあとからブラッシュアップしていけばOK 23
24. スモールビジネスを、世界の主役に。