Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AI の良し悪しを、 AI に採点させてみた
Search
Kishida
August 04, 2026
Programming
14
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AI の良し悪しを、 AI に採点させてみた
Kishida
August 04, 2026
Transcript
20 slides
AI の良し悪しを、 AI に採点させてみた 岸田 岳大 / Takehiro Kishida
自己紹介 岸田 岳大 (Takehiro Kishida) 株式会社 mento Product Engineer 趣味はお笑いと喫茶店巡り
@kishida_000 2
今日話すこと AIが「マネージャーとの1on1で話すとよい議題」を提案する機能を作っていま す AIが作るものなので、変な提案が混ざっていないかの品質チェックが必要 人間が品質のチェックをするのは限界がある そのチェック係を、AI に置き換えた話をします 3
何を作っているか 4
作っているもの:1on1アジェンダの自動提 案 メンバーの振り返りなどのコンテキストから、 「マネージャーとの1on1で話すとよい議題」をAIが提案する機能 提案には「なぜこのテーマか」の理由と、根拠の引用がつく メンバーとマネージャーの二人ともに表示される この「生成されたアジェンダ」の品質を、どう確かめる? 5
困っていたこと プロンプトを直すたびに、生成結果を自分で読んで判断 生成は非決定的 → 1回見て良くても、次は違うものが出る 「なんか違うな」と思っても、何が違うのかは感覚 6
LLM as a Judge とは 品質チェックを AI に任せる手法 7
LLM as a Judge = AIの審査員 LLMの出力を、別のLLMに 「審査員」として採点させる手法 生成AIの出力は毎回変わるし、正解が1つじゃない 「良い/悪い」の判断は今まで人間が読むしかなかった
その目視チェックを、審査員役のLLMに肩代わりさせる 8
作る側と、採点する側を分ける 生成AI アジェンダを作る → 生成物 審査員AI 条件で採点する → 合格 /
不合格 判定 作る役と採点する役を、別のLLMに分ける 人間はもう一段上がって「採点の基準」を設計する側にまわる 今日の主役は、右側の「審査員AI」をどう作ったか 9
実際に、どう採点しているか ① 入力を固めたテストケースを用意する 「この状況ならどう提案すべきか」を決めておく ② 本番と同じ生成処理でアジェンダを作らせる ③ 審査員LLMが条件を1つずつ ◦×で判定する ④
全条件クリアで合格/1つでも欠けたら不合格 実行すると、ケースごとの合否レポートが自動で出る 10
ところが、最初の壁 「良いか判定して」では、動かなかった 11
審査員AIは「良い」を知らない 審査員への指示が「良いアジェンダか判定して」だと、判定はブレブレ 当然で、「良い」の中身を渡していない じゃあ「良いアジェンダ」って何?と自分に問うと—— 自分も、言葉で説明できなかった 12
「なんか違う」を、条件に分解していく ダメだと感じた生成物を並べて、なぜダメなのかを1つずつ言葉にする 「入力に書いてないことを言ってる」→ 捏造の禁止 「引用が微妙に言い換えられてる」→ 引用は逐語 「片方しか関係ない話だ」→ 二人で話すテーマか 感覚だった「良い」が、判定できる条件に変わっていく 13
言語化の成果物:8つの条件 捏造がないか:入力に書かれていない固有名詞・出来事は 1on1のテーマとして適切か:進捗報告や、片方だけの私事はダメ 引用が逐語か:根拠の引用が原文どおりか 件数と取捨選択が妥当か:拾い漏れも、水増しも不合格 既存アジェンダと重複してないか など FAIL 合否は全条件AND。この条件文がそのまま審査員AIのプロンプトになる 14
言語化して初めて出てきた基準もある 「提案しない」ことも品質 話すべきテーマがないなら、0件が正解 無理やりひねり出した提案は、それ自体が不合格 「0件が正解」というテストケースまで作れるようになった 感覚のままだったら、この基準は言葉にならなかった 15
審査員も間違えるので、審査員もテストする 実データで見つけた変な生成物(引用にJSONの断片が混ざる等)を テストケースとして固定保存 その不良品を審査員に見せて、ちゃんと見抜けるかを回帰テスト 見抜けなかったら、条件の言葉が足りていないサイン → 言語化に戻る 16
ビフォー → アフター Before 「なんか違う」で差し戻し 観点がその日の気分で揺れる 基準は自分の頭の中だけ After 基準が8条件の言葉になった AIが同じ基準で毎回採点
言葉になった基準は共有できる 17
何が "広がった" か 「良い」を言葉にする力 AIに任せるには、自分の「見ればわかる」を言語化するしかなかった 一番鍛えられたのはAIではなく、自分の目利きの解像度 言葉になった基準は、AIだけでなく人にも渡せる資産になった 18
もちろん、終わりはない 言葉にした基準も完璧ではないし、審査員の判定もブレる だから不良品の標本で審査員を検証し続ける 「この条件で本当にいいのか」を更新し続けるのは人間 言語化は一回やって終わりじゃなく、育てていくもの 19
ありがとう ございました PASS ✓ 20
More Decks by Kishida
See All by Kishida
コードを書いていた自分と、書かなくなった自分
takehirodesuyo
0
91
Other Decks in Programming
See All in Programming
ローカルLLMの基本と近況 2611 / Local LLM basics and recent situation 2611
kishida
3
660
Skills Are the New npm [AAIF Bengaluru]
shivamsaraswat
0
120
Spec-driven Development with AI
simas
PRO
0
2.3k
Engineering Biometric UX Across Android Versions | DroidKnights 2026
ryunen344
1
220
Kawaiicon: Kubernetes, it's no longer cool, but let's secure it anyway!
barnbarn
0
140
クラウドゲーミングのパフォーマンス最適化に挑む / Cloud Gaming Performance Tuning
vivion
0
360
SODA - FACT BOOK(EN)
sodainc
1
280
まずはコードより業務と向き合う:テーブル解体のためにPdMを呼んだ話
sakawe_ee
0
270
[DroidKnights 2026] Workflow AX 적용기 — 자동 정책 정리부터 E2E까지
dayeon
0
120
SODA - FACT BOOK(JP)
sodainc
1
40k
Getting Started with Vibe Coding
miccheng
0
250
AI Augmentation Techniques with Liberty
ivargrimstad
1
560
Featured
See All Featured
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
61k
ラッコキーワード サービス紹介資料
rakko
5
6M
Why Our Code Smells
bkeepers
PRO
340
58k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
30 Presentation Tips
portentint
PRO
1
480
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.4k
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
150
sira's awesome portfolio website redesign presentation
elsirapls
0
520
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
490
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k