Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AI の良し悪しを、 AI に採点させてみた
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Kishida
August 04, 2026
Programming
10
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AI の良し悪しを、 AI に採点させてみた
Kishida
August 04, 2026
Transcript
20 slides
AI の良し悪しを、 AI に採点させてみた 岸田 岳大 / Takehiro Kishida
自己紹介 岸田 岳大 (Takehiro Kishida) 株式会社 mento Product Engineer 趣味はお笑いと喫茶店巡り
@kishida_000 2
今日話すこと AIが「マネージャーとの1on1で話すとよい議題」を提案する機能を作っていま す AIが作るものなので、変な提案が混ざっていないかの品質チェックが必要 人間が品質のチェックをするのは限界がある そのチェック係を、AI に置き換えた話をします 3
何を作っているか 4
作っているもの:1on1アジェンダの自動提 案 メンバーの振り返りなどのコンテキストから、 「マネージャーとの1on1で話すとよい議題」をAIが提案する機能 提案には「なぜこのテーマか」の理由と、根拠の引用がつく メンバーとマネージャーの二人ともに表示される この「生成されたアジェンダ」の品質を、どう確かめる? 5
困っていたこと プロンプトを直すたびに、生成結果を自分で読んで判断 生成は非決定的 → 1回見て良くても、次は違うものが出る 「なんか違うな」と思っても、何が違うのかは感覚 6
LLM as a Judge とは 品質チェックを AI に任せる手法 7
LLM as a Judge = AIの審査員 LLMの出力を、別のLLMに 「審査員」として採点させる手法 生成AIの出力は毎回変わるし、正解が1つじゃない 「良い/悪い」の判断は今まで人間が読むしかなかった
その目視チェックを、審査員役のLLMに肩代わりさせる 8
作る側と、採点する側を分ける 生成AI アジェンダを作る → 生成物 審査員AI 条件で採点する → 合格 /
不合格 判定 作る役と採点する役を、別のLLMに分ける 人間はもう一段上がって「採点の基準」を設計する側にまわる 今日の主役は、右側の「審査員AI」をどう作ったか 9
実際に、どう採点しているか ① 入力を固めたテストケースを用意する 「この状況ならどう提案すべきか」を決めておく ② 本番と同じ生成処理でアジェンダを作らせる ③ 審査員LLMが条件を1つずつ ◦×で判定する ④
全条件クリアで合格/1つでも欠けたら不合格 実行すると、ケースごとの合否レポートが自動で出る 10
ところが、最初の壁 「良いか判定して」では、動かなかった 11
審査員AIは「良い」を知らない 審査員への指示が「良いアジェンダか判定して」だと、判定はブレブレ 当然で、「良い」の中身を渡していない じゃあ「良いアジェンダ」って何?と自分に問うと—— 自分も、言葉で説明できなかった 12
「なんか違う」を、条件に分解していく ダメだと感じた生成物を並べて、なぜダメなのかを1つずつ言葉にする 「入力に書いてないことを言ってる」→ 捏造の禁止 「引用が微妙に言い換えられてる」→ 引用は逐語 「片方しか関係ない話だ」→ 二人で話すテーマか 感覚だった「良い」が、判定できる条件に変わっていく 13
言語化の成果物:8つの条件 捏造がないか:入力に書かれていない固有名詞・出来事は 1on1のテーマとして適切か:進捗報告や、片方だけの私事はダメ 引用が逐語か:根拠の引用が原文どおりか 件数と取捨選択が妥当か:拾い漏れも、水増しも不合格 既存アジェンダと重複してないか など FAIL 合否は全条件AND。この条件文がそのまま審査員AIのプロンプトになる 14
言語化して初めて出てきた基準もある 「提案しない」ことも品質 話すべきテーマがないなら、0件が正解 無理やりひねり出した提案は、それ自体が不合格 「0件が正解」というテストケースまで作れるようになった 感覚のままだったら、この基準は言葉にならなかった 15
審査員も間違えるので、審査員もテストする 実データで見つけた変な生成物(引用にJSONの断片が混ざる等)を テストケースとして固定保存 その不良品を審査員に見せて、ちゃんと見抜けるかを回帰テスト 見抜けなかったら、条件の言葉が足りていないサイン → 言語化に戻る 16
ビフォー → アフター Before 「なんか違う」で差し戻し 観点がその日の気分で揺れる 基準は自分の頭の中だけ After 基準が8条件の言葉になった AIが同じ基準で毎回採点
言葉になった基準は共有できる 17
何が "広がった" か 「良い」を言葉にする力 AIに任せるには、自分の「見ればわかる」を言語化するしかなかった 一番鍛えられたのはAIではなく、自分の目利きの解像度 言葉になった基準は、AIだけでなく人にも渡せる資産になった 18
もちろん、終わりはない 言葉にした基準も完璧ではないし、審査員の判定もブレる だから不良品の標本で審査員を検証し続ける 「この条件で本当にいいのか」を更新し続けるのは人間 言語化は一回やって終わりじゃなく、育てていくもの 19
ありがとう ございました PASS ✓ 20
More Decks by Kishida
See All by Kishida
コードを書いていた自分と、書かなくなった自分
takehirodesuyo
0
85
Other Decks in Programming
See All in Programming
Distance field of Julia set
kinakomoti321
0
320
Kawaiicon: Kubernetes, it's no longer cool, but let's secure it anyway!
barnbarn
0
130
Будущее локальных LLM – Алексей Голобурдин, PythoNN
sobolevn
0
120
AIが実装を担う時代の「技術設計」と「チームマネジメント」
kamina_zzz
2
270
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
350
作れるエンジニアから、価値を届けるエンジニアへ
ryunakayama
1
290
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
steliosf
PRO
1
180
オーケストレーション記述言語 Katari
yukikurage
0
260
Secure Your Coding Agent Like It’s Malware (v1.5) 🇬🇧 @Code.talks 2026
richargh
0
150
AI-Powered Domain-Driven Design
ziobrando
0
450
Claude Code ハーネスDeep Dive – 君はどこまで制御する? -
takateeen_knj
6
5.8k
Augmenting AI with the Power of Jakarta EE
ivargrimstad
0
320
Featured
See All Featured
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
940
We Are The Robots
honzajavorek
0
440
The Art of Programming - Codeland 2020
erikaheidi
57
14k
The untapped power of vector embeddings
frankvandijk
2
2k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
The Curious Case for Waylosing
cassininazir
1
610
Embracing the Ebb and Flow
colly
88
5.2k
Automating Front-end Workflow
addyosmani
1370
210k
Darren the Foodie - Storyboard
khoart
PRO
5
4.1k
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
350
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
How to Think Like a Performance Engineer
csswizardry
28
2.9k