大喜利で理解するLLM as a Judge / Understanding LLM-as-a-Judge through Ogiri

https://fortee.jp/iosdc-japan-2026/proposal/1bb6f1b8-5bc2-484f-8101-950d3b05ba88

Transcript

1. iOSDC Japan 2026 大喜利で理解する LLMロクネムas@rockname a Judge 株式会社スマートバンク
2. 大喜利
3. お題 ゴマすりiOSエンジニアが 先輩に言ったこととは？
4. 初日から回答を募集 25 件
5. 会場スコア 👏 会場
6. 会場スコア 👏→💻 会場 Mac のマイク
7. 会場スコア 👏→💻→ 会場 Mac のマイク 72 会場スコア
8. 会場スコア 👏 拍手 = 100 会場スコア 100 READY
9. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア Pro超えてMax！ いやUltraっす！
10. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア Pro超えてMax！ いやUltraっす！ 100 READY
11. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア Pro超えてMax！ いやUltraっす！ 大喜利 0.1 (debug) · build 20260913 DEBUG MENU 会場スコア 回答 0–9 1 入力 delete 1 文字消す return 反映 esc 閉じる 80 100 READY
12. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア Pro超えてMax！ いやUltraっす！ 80 READY
13. Demo Foundation Models で採点
15. 📝→ 🤖→💯 皆さんの回答 AI が採点 点数・講評
16. LLM as a Judge 💬→ 🤖→💯 AI の出力 AI が採点 点数・講評
17. LLM as a Judge 💬→ 🤖→💯 AI の出力 AI が採点 点数・講評 信じていいのか
18. 会場のウケ vs AI の点数 回答 Pro超えてMax！いやUltraっす！ 会場 80 AI 68
19. どうすれば 人の評価に近づくか
20. いまの採点基準 // 採点する let session = LanguageModelSession( model: ClaudeLanguageModel(name: "claude-opus-5", auth: .apiKey(key)), instructions: """ あなたは大喜利の審査員です。お題「\(topic)」に対する回答を0〜100点で採点し、一言講評をつけてくだ さい。 """ ) let verdict = try await session.respond(to: answer, generating: Verdict100.self) // 受け取る形 @Generable struct Verdict100 { @Guide(.range(0...100)) var score: Int var comment: String }
21. 人の評価から 採点基準をつくる
23. 「面白い」とは、頭の中で何が起きているのか 1 予想する お題を聞くと、「普 通はこう答える」 が浮かぶ
24. 「面白い」とは、頭の中で何が起きているのか 1 予想する お題を聞くと、「普 通はこう答える」 が浮かぶ 2 裏切られる → 回答が、その予想 と全然ちがう
25. 「面白い」とは、頭の中で何が起きているのか 1 予想する お題を聞くと、「普 通はこう答える」 が浮かぶ 2 裏切られる 3 つながる → 回答が、その予想 → 「あ、そういうこ と全然ちがう とか」と、お題と 結びつく
26. 「面白い」とは、頭の中で何が起きているのか 1 予想する お題を聞くと、「普 通はこう答える」 が浮かぶ 2 裏切られる 3 つながる 4 おかしい → 回答が、その予想 → 「あ、そういうこ → 光景がパッと浮か と全然ちがう とか」と、お題と 結びつく んで、それがおか しい
27. 「面白い」とは、頭の中で何が起きているのか 1 予想する お題を聞くと、「普 通はこう答える」 が浮かぶ 2 裏切られる 3 つながる 4 おかしい → 回答が、その予想 → 「あ、そういうこ → 光景がパッと浮か と全然ちがう とか」と、お題と 結びつく そうきたか なるほど 面白い回答は、意外なのに、納得できる んで、それがおか しい
28. 新しい採点基準 あなたは大喜利の審査員です。お題「ゴマすりiOSエンジニアが先輩に言ったこ ととは？」への回答を採点します。次の 3 つを、それぞれ理由を一文で書いて から、0〜2 で答えてください。 1. 回答は、このお題へのありがちな回答と、どれだけ違うか。 2. 回答は、お題の答えとして成り立っているか。 3. 読んだ瞬間に浮かぶ光景が、どれだけ普通と違っておかしいか。 例（今回、皆さんから集まった回答のうち、私が採点した 3 本） 「Appleからの注目度が高すぎるから、毎回リジェクトされるんですね！」 → 0・2・0（予想どおり／つながる／光景は普通） 「さすが人間型推論器ですね！」 → 2・0・0（予想外／つながらない／光景は浮かばない） 「先輩のPR、差分じゃなくて作品として見てます」 → 2・2・2（予想外／つながる／光景がおかしい） 最後に、総合点を 0〜100 でつける。 ← 予想する → 裏切られる ← つながる ← おかしい ← 人間がつけた答え
29. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア 先輩くらいになると フォントサイズも大きいんすねぇ
30. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア 先輩くらいになると フォントサイズも大きいんすねぇ 100 READY
31. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア 大喜利 0.1 (debug) · build 20260913 DEBUG MENU 先輩くらいになると 90 フォントサイズも大きいんすねぇ 会場スコア 回答 0–9 2 入力 delete 1 文字消す return 反映 esc 閉じる 100 READY
32. お題 ゴマすりiOSエンジニアが先輩に言ったこととは？ 会場スコア 先輩くらいになると フォントサイズも大きいんすねぇ 90 READY
33. Demo Foundation Models で採点（新しい基準）
35. 会場のウケ vs AI の点数 回答 Pro超えてMax！いやUltraっす！ 先輩くらいになると フォントサイズも大きいんすねぇ 会場 80 90 AI 68 63
36. LLM as a Judge を導入するなら 1 2 3 AI は、採点基準に書いたことしか測れない 点数だけを返させない 人間がつけた答えと、突き合わせる
37. 大喜利で面白い回答をするなら 1 最初に思いついた答えは、自分だけのものではない 2 3 4 自分がすぐ思いつくものは、会場の人も同じように思いつきます。だからそれは答えにしません。 ただ、捨てもしません。「みんなはこう答えるだろう」という見本として持っておくと、次に出てき た案がそこからどれくらい違うのかが分かります。 何を変えるかより先に、何を変えないかを決める 思いついたものと違うことを言うだけなら簡単です。ただ、違うことを言った時点で、お題の答え になっていないことがよくあります。お題が聞いていることにだけは最後まで答える、と先に決め ておけば、あとは何をどう変えても答えのままでいられます。 一言足したくなったら、それはもう伝わっていない 自分でつなげたものは、自分には必ずつながって見えます。だから、伝わっているかどうかを本人 が確かめることはできません。あてになるのは、言い足したくなるかどうかだけです。 筋が通っただけの答えは、感心されて終わる きれいに筋が通ると、人は「うまい」と言います。うまいと面白いは別です。同じくらい筋の通る 答えが何通りか出てきたら、言ったときに思い浮かぶ様子が、一番ばかばかしいものを選びます。
38. ロクネム @rockname 株式会社スマートバンク Software Engineer / Engineering Manager