やわらかな"評価"と、その敵 ーゆるゆる Ver.ー

2025/10/16に開催された、ファインディ株式会社主催の「秋の夜長に品質ゆるトーク交流会 ＃QATT番外編」のLT資料です！

https://findy.connpass.com/event/370888/

Transcript

1. やわらかな”評価”と、その敵 ⾼⽥ 佑樹 / @tackaaaada 2025.10.16 QATT番外編 ー ゆるゆる Ver. ー
2. ⾼⽥佑樹 @tackaaaada 2 ユニファ株式会社 プロダクトデベロップメント本部 AI開発推進部 QAエンジニア 略歴 〜2015年：レコーディングスタジオのスタッフや家電の販売員 2015年〜2019年：SES事業会社で、IT業界デビュー 2019年〜2024年9⽉：ゲームの第三者検証会社にて従事 2024年10⽉〜現在：ユニファ株式会社でQAエンジニアとして従事 趣味：HIIT‧⾃重トレーニング、ドリップコーヒー （昇降デスクを導⼊して、⽴って仕事してます）
3. 3 ユニファ株式会社って、どんな会社？ 保育施設向けの総合ICTサービス「ルクミー」を提供している会社です https://lookmee.jp/
4. 4 LLMを使ったプロダクトの「評価」について、「ゆるっ」とお話します。
5. 5 ユニファ株式会社も、LLMを使ったプロダクトを開発してます！ 園内の⼤量の写真‧⽂書記録を要約し こどもの育ちを簡単に振り返られるよ うにするプロダクト。 オープンβリリース、しました。
6. アジェンダ • 「検証」ではなく「評価」 • 「評価」って、難しくね？ • LLM-as-a-Judge！ • どうする？ 6
7. 7 「検証」ではなく「評価」
8. 「検証」ではなく「評価」 8 いままでの品質保証の「検証」 → 期待値が決められた
9. 「検証」ではなく「評価」 9 例）チキンカレーを作る
10. 「検証」ではなく「評価」 10 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 材料を切る 3. ⽶を洗って、炊く 4. 鍋にバターを⼊れ溶かし、材料を炒める 5. たまねぎが半透明になったら、⽔を加えてひと煮⽴ちさせる 6. カレールーを⼊れて、溶け切るまで混ぜる。 7. じゃがいもが柔らかくなったら、⽕を⽌める 8. ごはんをよそって、カレールーをかける 9. 「チキンカレーの完成！」
11. 「検証」ではなく「評価」 11 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 材料を切る 3. ⽶を洗って、炊く 4. 鍋にバターを⼊れ溶かし、材料を炒める 5. たまねぎが半透明になったら、⽔を加えてひと煮⽴ちさせる 6. カレールーを⼊れて、溶け切るまで混ぜる。 7. じゃがいもが柔らかくなったら、⽕を⽌める 8. ごはんをよそって、カレールーをかける 9. 「チキンカレーの完成！」
12. 「検証」ではなく「評価」 12 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 材料を切る 3. ⽶を洗って、炊く 4. 鍋にバターを⼊れ溶かし、材料を炒める 5. たまねぎが半透明になったら、⽔を加えてひと煮⽴ちさせる 6. カレールーを⼊れて、溶け切るまで混ぜる。 7. じゃがいもが柔らかくなったら、⽕を⽌める 8. ごはんをよそって、カレールーをかける 9. 「チキンカレーの完成！」 緑字：入力 赤字：処理 青字：条件分岐 ↓ いままでのソフトウェアテストでは、上記のそれぞれが はっきりと書いていたため、「機能として、どのように動 くのか、期待値を決めることができた」 （「おいしい」かどうかは、さておいて）
13. 「検証」ではなく「評価」 13 LLMを使ったプロダクトの「評価」では？ → 期待値が?????
14. 「検証」ではなく「評価」 14 例）チキンカレーを作る
15. 「検証」ではなく「評価」 15 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 3. 4. 5. 6. 7. 9. 「チキンカレーの完成?????」
16. 「検証」ではなく「評価」 16 1. 材料を⽤意する（鶏⾁、にんじん、たまねぎ、じゃがいも、カレールー（ス パイスでも可）、バター、⽔、⽶ etc..） 2. 3. 4. 5. 6. 7. 9. 「チキンカレーの完成?????」
17. 「検証」ではなく「評価」 17 「チキンカレーの完成???」って、あるけど チキンカレー？ グリーンカレー？ マッサマンカレー？だったりしない？ ⼊⼒が同じでも「どのカレーが出来上がるか」は、決定できない
18. 「検証」ではなく「評価」 18 LLMを使ったプロダクトの「評価」では? → 期待値が決められない ↓ 「期待値が確率的に変動するから」
19. 「評価」って、難しくね？ 19
20. 「評価」って、難しくね？ 20 x「ありがとう」 ⼊⼒X y「感謝」 条件 {x | 嬉しい気持ち(x)} 出⼒Y ここ
21. 「評価」って、難しくね？ 21 仕組みを知れば、何かわかるかも？
22. 「評価」って、難しくね？ 22 Ashish Vaswani et al. (2017), “Attention Is All You Need”, NeurIPS2017 より引用
23. 「評価」って、難しくね？ 23 Ashish Vaswani et al. (2017), “Attention Is All You Need”, NeurIPS2017 より引用
24. 「評価」って、難しくね？ 24 Ashish Vaswani et al. (2017), “Attention Is All You Need”, NeurIPS2017 より引用
25. 「評価」って、難しくね？ 25 「それらしく出⼒されてる」ことを評価するって、難しくないっすか？
26. 「評価」って、難しくね？ 26 「それらしく出⼒されてる」ことを評価するって、難しくないっすか？ ↓ ⼈によって捉え⽅違うし、何より「時間（⼯数）かかる」じゃん？
27. 「評価」って、難しくね？ 27 えっ、⼈海戦術？ （属⼈化→偶像化→機能不全→組織崩壊にならん？） リチャード‧Ｐ‧ルメルト 著、村井 章⼦ 訳 「戦略の要諦」p.344~ 第13章 組織の機能不全 から引⽤
28. LLM-as-a-Judge！ 28
29. LLM-as-a-Judge！ 29 そうだ、「LLMに評価してもらえば、いいじゃん！」
30. LLM-as-a-Judge！ 30 Self-hostingでLangfuseを立ち上げる >> LLM-as-a-Judgeにある評価軸を写したもの。全部で、 19個ありました。
31. LLM-as-a-Judge！ 31 Langfuseにある評価軸を「1つずつ」⼿を動かしながらどう動くのか調査していった際の資料（⼀部、抜粋）
32. LLM as a judge！ 32 えっ、じゃあ、何使えばいいの？（評価軸、どれ使えばいいの？）
33. どうする？ 33
34. どうする？ 34 まずは、Langfuseの持っている軸に縛られる必要もなく、 ⾃分たちが重要だと思う軸を(Langfuseとは関係ないところで)決める AI開発推進部の方からの「めちゃくちゃ良いインサイト」
35. どうする？ 35 その上で、その観点を「どう評価するか」、 という視点があってもいいんじゃない？ AI開発推進部の方からの「めちゃくちゃ良いインサイト」
36. どうする？ 36
37. どうする？ 37 導⼊前に「整える」こと = “明証”の規則 ↓ 「期待を明⽂化」する：⽬的の明確化、現状を把握、導⼊の基準を⽰そう
38. どうする？ 38 「導⼊前に「整える」こと = “明証”の規則」で「ピン」と来た⽅は、 2025/9/5のQATT #3を（アーカイブで）チェックしてね！ 「“品質”は、電気羊の夢を見るか？ー デカルトの四規則で始める「自動テスト導入前」の品質保証ー 」というタイトル登壇しました！
39. まとめ 39 • LLMを使ったプロダクトの「評価」って、難しい（でも、やり甲斐はある） • LLM-as-a-Judgeって、奥が深いのね〜 • ⾃分たちが⼤切だと思う「軸」、決めようぜっ！
40. 40 ユニファ開発チーム、仲間を探しています ゆるっと、お知らせ ユニファ株式会社 会社紹介資料（開発チーム版） / Unifa inc information for dev team - Speaker Deck
41. 41 （ゆるっと、終わって） ご清聴、ありがとうございました！