LLM-as-a-Judge奮闘記！(仮) 〜あっ、37歳になりました (仮)〜

2026/03/02に開催された、「QA engineer at a Startup vol.27 高田 佑樹編」の登壇資料です！

https://qaengineeratastartup.connpass.com/event/384699/

Transcript

1. LLM-as-a-Judge奮闘記！(仮) ⾼⽥ 佑樹 / @tackaaaada 2026.03.02 QA engineer at a Startup（仮）Vol.27 〜あっ、37歳になりました (仮)〜
2. ⾼⽥佑樹 @tackaaaada 2 ユニファ株式会社 プロダクトデベロップメント本部 AI開発推進部 QAエンジニア 略歴 〜2015年：レコーディングスタジオのスタッフや家電の販売員 2015年〜2019年：SES事業会社で、IT業界デビュー 2019年〜2024年9⽉：ゲームの第三者検証会社にて従事 2024年10⽉〜現在：ユニファ株式会社でQAエンジニアとして従事 趣味：HIIT‧⾃重トレーニング、ドリップコーヒー （ノルウェー式HIITを導⼊しました）
3. 3 ユニファ株式会社って、どんな会社？ 保育施設向けの総合ICTサービス「ルクミー」を提供している会社です https://lookmee.jp/
4. 4 ユニファ株式会社って、どんな会社？
5. 5 ユニファ株式会社って、どんな会社？
6. 6 今⽇、お話する内容 LLM-as-a-Judge構築（※）の体験などを、 「ゆるっ！」っと、お話しようと思います！ ※：現在、絶賛構築中
7. アジェンダ • LLM-as-a-Judgeって？ • はじめの「⼀歩」 • 難しかったところ • まとめ 7
8. 8 LLM-as-a-Judgeって？
9. LLM-as-a-Judgeって？ 9 「LLMによって⽣成した回答の品質を、 LLMによって”⾃動的に評価する”⼿法」 Tips：2023年の研究によると、GPT-4による評価が「⼈間による評価（約3,000件の専⾨家による投票（MT-bench）と、3万件の⼀般ユーザーによる投票（Arena））と⽐ 較した結果、⼈間の評価と80%以上の⾼い⼀致率を⽰したことによって、LLM-as-a-Judgeの有⽤性を、ある程度⽰した。とのこと。 詳しくは、論⽂「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」を参照願います。
10. LLM-as-a-Judgeって？ 10 嬉しいこと：⼈⼿や時間をかけて、確認しなくて済む（検証がラクになる） ↓ 「LLMで⽣成したものを、LLMで評価しようよ！」
11. LLM-as-a-Judgeって？ 11 LLM-as-a-Judgeって、どんなことするの？
12. LLM-as-a-Judgeって？ 12 例）チキンカレーを作る
13. LLM-as-a-Judgeって？ 13 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 材料を切る 3. ⽶を洗って、炊く 4. 鍋にバターを⼊れ溶かし、材料を炒める 5. たまねぎが半透明になったら、⽔を加えてひと煮⽴ちさせる 6. カレールーを⼊れて、溶け切るまで混ぜる。 7. じゃがいもが柔らかくなったら、⽕を⽌める 8. ごはんをよそって、カレールーをかける 9. 「チキンカレーの完成？？」
14. LLM-as-a-Judgeって？ 14
15. LLM-as-a-Judgeって？ 15 これは「チキンカレー」、なの？
16. LLM-as-a-Judgeって？ 16 材料（特に鶏⾁）は、⼊ってる？ カレー味になってる？ 美味しくなってる？ etc…
17. LLM-as-a-Judgeって？ 17 弊社のプロダクトに、置き換えて考えてみる
18. LLM-as-a-Judgeって？ 18 ⽂章として 成り⽴ってる？ インプットの内容が、 記述されてる？ 役に⽴つ情報になっ てる？ etc… 弊社HP「すくすくレポート」の紹介ページより引⽤
19. LLM-as-a-Judgeって？ 19 問い：「最初、何から⼿をつければいい？」
20. はじめの「⼀歩」 20
21. 21 はじめの「⼀歩」 去年の登壇は、↓にて 2025/10/16に開催された、ファインディ株式会社主催の「秋の夜⻑に品質ゆるトーク交流会 ＃QATT番外編」のLT資料：「やわらかな"評価"と、その敵 ーゆるゆる Ver.ー」よ り
22. 22 はじめの「⼀歩」 今回は、↓のページからのお話です。 2025/10/16に開催された、ファインディ株式会社主催の「秋の夜⻑に品質ゆるトーク交流会 ＃QATT番外編」のLT資料：「やわらかな"評価"と、その敵 ーゆるゆる Ver.ー」よ り
23. はじめの「⼀歩」 23 正確性 妥当性 正確性 有⽤性 etc… ⼀意性 毒性 LLM-as-a-Judgeで使われる、「評価軸」の代表例 関連性
24. はじめの「⼀歩」 24 「軸」を決める
25. はじめの「⼀歩」 25 「軸」を決めるのに、考えたこと① • 背景や⽬的：以下の2つ ◦ 背景：LLM出⼒は確率的に揺れるため、従来のテストケースだけでは判定がぶれる。 ◦ ⽬的：評価者間の判断の差を最⼩化し、評価を迷いなく判断できる基準を定める。 • 期待アウトカム：最終的な期待アウトカムは何？ ◦ AIを使ったプロダクトが、「保育の専⾨性を⾼める業務に、集中するための時間を創り出す “頼れる存在”（役に⽴つパートナー）」であること • NG（絶対回避）：絶対に避けたい「振る舞い‧出⼒」は何？ ◦ 安全性‧配慮⾯、プライバシー‧倫理⾯、信頼性‧正確性⾯、保育理念⾯に反する振る舞い や出⼒
26. はじめの「⼀歩」 26 「軸」を決めるのに、考えたこと② • 開発時のユースケース：以下の2つ ◦ 利⽤している技術スタック上での、プロンプトチューニングのしやすさ ◦ ⼊⼒プロンプトの修正、改良‧改善 • 誰が使うか：LLM-as-a-Judgeを使って、その恩恵を受ける⼈は誰？ ◦ 開発エンジニア ◦ PdMや、PO ◦ QAエンジニア etc….
27. はじめの「⼀歩」 27 アウトラインが引けたら、「評価軸」を決める ⼈によっては、最初に「データセット」から作ってその後に評価軸を決めるといったことも、あるそうです。
28. はじめの「⼀歩」 28 「評価軸」を決めるのに、考えたこと① • 「⽣成されたものは、どのような状態が望ましいか」を⾔語化 • 優先順位を決める：以下の、3つ ◦ 1位：妥当性/⼀意性（ゲート条件） ▪ 誤読の余地や曖昧さがないか。 ▪ ⽂章構成などから読みやすい⽂章になっているか。 ◦ 2位：正確性/信頼性 ▪ ⼊⼒（事実‧元データ）と乖離がないか。 ▪ 事実に基づいているか。 ◦ 3位：有⽤性/⼀貫性 ▪ 園の先⽣向けに有⽤な情報になっているか。 ▪ ⽂脈や内容の⼀貫性があるか。
29. はじめの「⼀歩」 29 「評価軸」を決めるのに、考えたこと② • トレードオフ時の判断基準の制定 ◦ ゲートチェック（妥当性/⼀意性）→ NGなら即不合格 ◦ その後、上位から順に優先軸で合否判断（トレードオフ時は優先順位に従う） • 許容する「ゆらぎ」：多様な正解の幅は？ ◦ 「OK」「注意（境界）」「NG」を、各評価軸に設定 ◦ 「どこまでOKで、どこからがNGか？」を決める etc…
30. はじめの「⼀歩」 30 これらを⼀旦決めてから、技術的にどう実現するか？ フィージビリティを確認しながら、決めていきました ↓ Bedrock AgentCore Runtime を活⽤したサーバーレスエージェントシステム （⽂章の⽣成（Generator）と品質評価（Evaluator）を⾃律的に実⾏するも の）でLLM-as-a-Judgeしたり、LangfuseのDatasetsを活⽤して⽂章評価した りを構築してます〜
31. 難しかったところ 31
32. 難しかったところ 32 ①アウトラインの「粒度」を、どこまでにするか（どこで、打ち⽌めるか）
33. 難しかったところ 33 • 軸を細かく決めすぎると、「⽅針転換する時の負荷が、⾼くなる」 ◦ 同時に、「バイアスが働かないか（これで、いいかっ）」⼼配だった。 • 逆に、粗すぎると「⾃由度が⾼くて、次の⾏動のチョイスに迷う」 ◦ ⾊んなことをチャレンジできるといった「ポジティブな⾯」がある反⾯、⾊々チャレンジし て「時間がかかりすぎる」ってことになる。 インサイト：軸や評価軸は「⼀旦、ここにする」と打ち⽌めにすることが必要
34. 難しかったところ 34 「評価軸」⇔「データセット（※）」を、反復的に改善しながら構築する ※：これから、構築予定
35. 難しかったところ 35 ②技術選定が、「⼊⼒プロンプトの置き場」 （実際にプロンプトを呼び出す元）に依存する傾向にある。
36. 難しかったところ 36 • 「AWS Bedrockのプロンプト管理」からだったり、「実装に埋め込まれて いたり」する ◦ LLM-as-a-Judgeの技術選定をする際には、⼊⼒プロンプトの場所を意識したほうがいいと 思う。 ◦ 実際に構築するときとか、アーキテクチャなりデータなりが「こんがらがってしまって」訳 わかんなくなりそう（Bedrock AgentCore Runtimeベースで構築するときに、困りそう） インサイト：⼊⼒（プロンプトやデータ）を意識する。あとは、⼿を動かして確 認してみる。
37. まとめ 37
38. まとめ 38 • 「軸」ベースで考えながら⾏動したら、⾏動を迷わずに進められた ◦ 軸があったから、⼿を動かせられた ◦ やるべきことにフォーカスして、⾏動できた • 軸の「粒度」を決めるときには、気を付けて ◦ バランスをとることが⼤事 ◦ とはいえ、バランスの取り⽅は「現場次第」 • 技術選定は、⼿を動かして決める ◦ 他の⼈に動かしてもらったものを⾒て判断するのも、良いと考える
39. 39 ゆるっと、宣伝
40. 40 ユニファ開発チーム、仲間を探しています お知らせ ユニファ株式会社 会社紹介資料（開発チーム版） / Unifa inc information for dev team - Speaker Deck
41. 41 （ゆるっと終わって） ご清聴、ありがとうございました！