AI の良し悪しを、 AI に採点させてみた

Transcript

1. AI の良し悪しを、 AI に採点させてみた 岸田 岳大 / Takehiro Kishida
2. 自己紹介 岸田 岳大 (Takehiro Kishida) 株式会社 mento Product Engineer 趣味はお笑いと喫茶店巡り @kishida_000 2
3. 今日話すこと AIが「マネージャーとの1on1で話すとよい議題」を提案する機能を作っていま す AIが作るものなので、変な提案が混ざっていないかの品質チェックが必要 人間が品質のチェックをするのは限界がある そのチェック係を、AI に置き換えた話をします 3
4. 何を作っているか 4
5. 作っているもの：1on1アジェンダの自動提 案 メンバーの振り返りなどのコンテキストから、 「マネージャーとの1on1で話すとよい議題」をAIが提案する機能 提案には「なぜこのテーマか」の理由と、根拠の引用がつく メンバーとマネージャーの二人ともに表示される この「生成されたアジェンダ」の品質を、どう確かめる？ 5
6. 困っていたこと プロンプトを直すたびに、生成結果を自分で読んで判断 生成は非決定的 → 1回見て良くても、次は違うものが出る 「なんか違うな」と思っても、何が違うのかは感覚 6
7. LLM as a Judge とは 品質チェックを AI に任せる手法 7
8. LLM as a Judge = AIの審査員 LLMの出力を、別のLLMに 「審査員」として採点させる手法 生成AIの出力は毎回変わるし、正解が1つじゃない 「良い/悪い」の判断は今まで人間が読むしかなかった その目視チェックを、審査員役のLLMに肩代わりさせる 8
9. 作る側と、採点する側を分ける 生成AI アジェンダを作る → 生成物 審査員AI 条件で採点する → 合格 / 不合格 判定 作る役と採点する役を、別のLLMに分ける 人間はもう一段上がって「採点の基準」を設計する側にまわる 今日の主役は、右側の「審査員AI」をどう作ったか 9
10. 実際に、どう採点しているか ① 入力を固めたテストケースを用意する 「この状況ならどう提案すべきか」を決めておく ② 本番と同じ生成処理でアジェンダを作らせる ③ 審査員LLMが条件を1つずつ ◦×で判定する ④ 全条件クリアで合格／1つでも欠けたら不合格 実行すると、ケースごとの合否レポートが自動で出る 10
11. ところが、最初の壁 「良いか判定して」では、動かなかった 11
12. 審査員AIは「良い」を知らない 審査員への指示が「良いアジェンダか判定して」だと、判定はブレブレ 当然で、「良い」の中身を渡していない じゃあ「良いアジェンダ」って何？と自分に問うと—— 自分も、言葉で説明できなかった 12
13. 「なんか違う」を、条件に分解していく ダメだと感じた生成物を並べて、なぜダメなのかを1つずつ言葉にする 「入力に書いてないことを言ってる」→ 捏造の禁止 「引用が微妙に言い換えられてる」→ 引用は逐語 「片方しか関係ない話だ」→ 二人で話すテーマか 感覚だった「良い」が、判定できる条件に変わっていく 13
14. 言語化の成果物：8つの条件 捏造がないか：入力に書かれていない固有名詞・出来事は 1on1のテーマとして適切か：進捗報告や、片方だけの私事はダメ 引用が逐語か：根拠の引用が原文どおりか 件数と取捨選択が妥当か：拾い漏れも、水増しも不合格 既存アジェンダと重複してないか など FAIL 合否は全条件AND。この条件文がそのまま審査員AIのプロンプトになる 14
15. 言語化して初めて出てきた基準もある 「提案しない」ことも品質 話すべきテーマがないなら、0件が正解 無理やりひねり出した提案は、それ自体が不合格 「0件が正解」というテストケースまで作れるようになった 感覚のままだったら、この基準は言葉にならなかった 15
16. 審査員も間違えるので、審査員もテストする 実データで見つけた変な生成物（引用にJSONの断片が混ざる等）を テストケースとして固定保存 その不良品を審査員に見せて、ちゃんと見抜けるかを回帰テスト 見抜けなかったら、条件の言葉が足りていないサイン → 言語化に戻る 16
17. ビフォー → アフター Before 「なんか違う」で差し戻し 観点がその日の気分で揺れる 基準は自分の頭の中だけ After 基準が8条件の言葉になった AIが同じ基準で毎回採点 言葉になった基準は共有できる 17
18. 何が "広がった" か 「良い」を言葉にする力 AIに任せるには、自分の「見ればわかる」を言語化するしかなかった 一番鍛えられたのはAIではなく、自分の目利きの解像度 言葉になった基準は、AIだけでなく人にも渡せる資産になった 18
19. もちろん、終わりはない 言葉にした基準も完璧ではないし、審査員の判定もブレる だから不良品の標本で審査員を検証し続ける 「この条件で本当にいいのか」を更新し続けるのは人間 言語化は一回やって終わりじゃなく、育てていくもの 19
20. ありがとう ございました PASS ✓ 20