AIプロダクトの品質をどう守る？

by matsu802

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

目次 Agenda ● 自己紹介 ● バクラク勤怠のAI機能の紹介 ● 品質を定義するための3つの軸 ● 継続的な改善のための仕組み

Slide 3

Slide 3 text

Slide 4

Slide 4 text

バクラク勤怠のAI機能

Slide 5

Slide 5 text

Slide 6

Slide 6 text

バクラク勤怠のAI機能

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

品質を定義をするための3つの軸

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

継続的な改善の仕組み

Slide 20

Slide 20 text

© LayerX Inc. 20 AI開発における品質保証の難しさ継続的な改善の仕組み課題 AIプロダクトは確率的な要素を含むため、予期せぬ箇所で品質低下を引き起こすリスクが高く、また継続的な精度の改善が必要。アプローチ単一のテスト手法ではなく、目的の異なる2つのレイヤーでテストを分離する。 1. integration test: 品質を落とさない「守り」 a. システム全体の整合性と信頼性を担保 2. unit test: 精度の改善を行う「攻め」 a. 個別のプロンプトの精度とエッジケースの克服

Slide 21

Slide 21 text

© LayerX Inc. 21 runn: 品質を維持する「結合テスト」継続的な改善の仕組み一般的なソフトウェア開発における「リグレッションテスト」の位置付け AIの精度だけでなくシステム全体が正常に動作するか確認するもの検証プロセス 1. アプローチ: 実際のAPIエンドポイントへリクエストを送信。 2. 検証内容: レスポンスのステータス、データ構造、を元にスコアリング 3. 目的: モデルの劣化やプロンプトの変更による精度の低下、またはシステム全体のデグレが発生していないことを担保 4. 役割: 開発が進んでも、「壊れていない」ことを担保するガードレールの役割

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© LayerX Inc. 25 Langfuse: 精度を向上させる「ユニットテスト」継続的な改善の仕組み各プロンプトの精度を評価・改善を目的とするユニットテスト主に本番環境で失敗したケースなどを継続的に改善していく仕組み検証プロセス 1. アプローチ: プロンプトごとに実行し、出力を定量的に検証 2. 検証内容: プロンプトタイプごとに出力をスコアリング 3. 目的: プロンプトの改善を行った際に精度が向上しているかを担保する 4. 役割: 継続的に精度を向上していくための仕組み

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© LayerX Inc. 34 まとめ継続的な改善の仕組み項目 runn(結合テスト) Langfuse(ユニットテスト) 主な役割品質の維持品質の向上評価対象 APIによるE2Eの挙動個別のプロンプト・回答の精度スコアリングビジネスロジックに基づく重み付けプロンプトごとにスコアリング方式を持つテストデータ精度が高いことが確認済みのパターン本番で失敗したデータ・新ケーステストの評価スコア < 90% スコア(PR - main) < 5%

Slide 35

Slide 35 text