判断特化モデル Jev で 開発チケットをトリアージする

第156回 NearMe 技術勉強会（2026/11/6）の発表資料です。

判断に特化したモデル「Jev」（TypeSafe AI）を使って、開発チケットのトリアージ（リスク・振り分け・着手できるかの仕分け）を試しました。

・Jev とは：文章ではなく、決めた型と確率で答えるモデル
・トリアージへの使い方：1チケットに15問を1回で聞き、AI は提案、決めるのは人
・精度を上げる工夫：質問に「含めないもの」を書く／リスクは条件の組み合わせとルールで決める
・Claude Fable 5.1 との比較：リスク判定は約8割で一致、費用は約370分の1（推定）

Jev は TypeSafe のコンソールにある Playground から、コードを書かずに試せます。
https://typesafe.ai

Transcript

1. 判断特化モデル Jev で 開発チケットをトリアージする 2026-11-06 第156回NearMe技術勉強会 Kaito Asahi 0
2. 今⽇話すこと 01 Jevとは 02 トリアージに使う 03 精度を上げる ⽂章ではなく、型と確率で答えるモデル 開発チケットの仕分けを、Jevに⼿伝ってもらう 質問の書き⽅と、判定のルール 1
3. Jevとは：⽂章ではなく、型と確率で答えるモデル TypeSafe AI 社が2026年9⽉に公開。選択肢が決まった判断を、速く‧安く‧⼀貫して返す CHOICE NOUL SCORE 選択肢から選ぶ Yes の確率を返す 0〜5 の段階で評価 例：このチケットの種類は？ 例：個⼈情報に関わる？ 例：どれくらい急ぎ？ bug 0.92 feature 0.08 0.98 3.4 / 5 料⾦は⼊⼒100万トークンあたり約0.04ドル‧出⼒無料（2026年11⽉時点）。数値は説明⽤の例。SCORE は今回のトリアージでは使っていない 2
4. コードを書かずに試せる：Playground 4 1 1 State 判断の材料（チケット） 2 Questions 質問と答えの型 2 3 Run 実⾏するだけ 4 Response 答えと確率が並ぶ 3 3
5. Playground の⼊⼒①：State（判断の材料） ① role：前提（任意） { "role": "あなたは配⾞サービスの開発チケットの ① トリアージ担当です。書かれている内容だけを もとに判断してください。", "title": "予約キャンセル時の返⾦額で、 ② キャンセル料の端数処理が誤っている", "body": "現象：乗⾞前⽇のキャンセルでキャンセル料が ③ 運賃の30%になる場合、1円未満の端数が切り上げ られ、返⾦額が1円少なくなる。 期待：料⾦規定どおり、端数は切り捨てる。 受け⼊れ条件：運賃1,001円の予約を前⽇に キャンセルすると、返⾦701円になること。" } 役割や「書かれた内容だけで判断して」など ② title：チケットのタイトル そのまま貼る ③ body：チケットの本⽂ 整形せず、そのまま⽂字列で⼊れる ポイント：State は JSON なら形もキー名も⾃由。判断に必要な材料だけを⼊れる（チケットは架空の例） 4
6. Playground の⼊⼒②：Questions（質問のリスト） ① キー名（⾃由） { "risk": { ① "type": "choice", ② "instructions": "この変更のリスクを、変更内容にもとづいて選んでください。", ③ "criteria": { ④ "high": "料⾦計算‧決済‧認可‧個⼈情報‧DBスキーマ‧ 配⾞ロジックに関わる変更", "medium": "highにもlowにも当てはまらない機能追加‧バグ修正", "low": "⽂⾔‧LP‧スタイル‧ログ‧テスト‧ドキュメントのみ" } }, "touches_billing": { "type": "noul", "instructions": "この変更は、料⾦‧運賃の計算ロジックや決済処理 そのものを変えますか？画⾯や機能の名前に「料⾦」が ⑤ 含まれるだけの場合は含めません。" }, … } 結果を取り出すときの名前 ② type：答えの型 choice＝選択肢から選ぶ noul＝Yes の確率 ③ instructions：質問⽂ 何を判断してほしいか ④ criteria：選択肢 choice のときだけ。名前と判断基準 ⑤ 含めないもの 聞きたくないものを先に書く 5
7. Playground の出⼒：Response（返ってきた答え） ① choice：選んだ選択肢 { "risk": { "choice": "high", ① "probabilities": { "high": 0.99, "medium": 0.01, "low": 0.00 } ② }, "touches_billing": { "noul": 0.94 }, ③ "touches_authz": { "noul": 0.07 }, "has_acceptance_criteria": { "noul": 0.98 } いちばん確率が⾼いもの ② probabilities：各選択肢の確率 合計すると1。僅差なら迷っている } ③ noul：Yes の確率 0〜1。0.5 前後は迷っている この例の読み⽅： 料⾦の計算を変えるので料⾦は 0.94、権限は関係ないので 0.07。リスクは High を 0.99 で選んだ ポイント：答えは確率なので、どこから Yes とみなすかは使う側が決める（例：0.5 以上なら Yes） 6
8. トリアージに使う：1チケットに15問を1回で聞く 背景：AIで実装が速くなり、「何を‧どの慎重さで進めるか」という着⼿前の判断が詰まりやすくなった リスク 料⾦‧決済∕認可∕個⼈情報 DB∕配⾞ロジック∕リリース順 に関わるか 振り分け どのリポジトリか バグか機能追加か Jev：提案と、その根拠（確率） 着⼿できるか 背景‧完了条件があるか 情報が⾜りているか ⼈：優先度とリスクを決める 前提：チケットには個⼈情報を書かない運⽤ 7
9. 判定の例：個⼈情報のマスク条件を変える機能のチケット High リスクの判定 個⼈情報 0.98 High になった理由 8
10. 精度を上げる①：質問に「含めないもの」を書く 起きたこと 「複数のリポジトリにまたがるか」と聞いたら、仕様書を1 ⾏直すだけのチケットでも Yes に寄った やったこと 「仕様書の更新だけなら含めない」と⼀⽂⾜した 結果 Yes の確率が⼤きく下がった 0.69 0.09 ポイント：Jevは質問を⽂字どおりに読む。聞きたくないものは先に書いておく 9
11. 精度を上げる②：条件の組み合わせでリスクを決める Jev に聞く ルールで決める 料⾦‧決済を変えるか どれか1つが強く Yes → High 認可を変えるか 弱い Yes が2つ以上 → High 個⼈情報の扱いを変えるか ⾒た⽬だけ → Low … それ以外 → Medium ⾒た⽬だけの変更か 今は：リスクの⾼さを Jev に直接選ばせている（前の判定例）。これから条件の組み合わせで決める形を試す 良いところ：なぜその判定になったか説明でき、基準は Jev を呼び直さずに調整できる 10
12. 軽いJevで⾜りるのか：Claude Fable 5.1 と⽐べた 79% 約1/370 11/17 リスク判定の⼀致（53件中42件） 1件あたりの費⽤（Fable⽐‧推定） 判定が分かれた17件で、Jevの答えそ のままが⾃分の判定と⼀致 Jev Fable 1,000件あたりの費⽤ 約 0.11 ドル 約 39 ドル 3回とも同じリスク判定 96% 89% わかったこと 判定が分かれた17件を⾃分で判定して照 らし合わせた。ずれの多くは Jev の判断 ではなく、「0.3 で High に寄せる」ルー ルの基準が低すぎたのが原因 → 基準を Jev の確率の出⽅に合わせれば 直せる Fable の判定も正解ではない。判定が分かれた17件（ルール適⽤後）は⾃分で判定して照合した（1⼈の判断）。Fable の費⽤は、使ったトークン数を API 料⾦（2026 年11⽉時点）で換算した推定値 11
13. まとめ 1 Jev は、決まった判断を速く‧安く返すモデル 2 トリアージは、AIが提案して⼈が決める 3 精度は、質問の書き⽅とルールで上げる ⼤きなモデルと約8割⼀致し、費⽤は約370分の1 1チケットに15問を1回で聞ける 含めないものを書く∕条件の組み合わせで決める 12
14. 参考リンク 公式 TypeSafe AI https://typesafe.ai ドキュメント https://docs.typesafe.ai コンソール（Playground‧APIキー） https://console.typesafe.ai 参考記事 判断特化型AI「Jev」を簡単な具体例でわかりやすく解説！実際に試してみた（DevelopersIO） https://dev.classmethod.jp/articles/jev-guide-with-examples/ 元OpenAI研究者の新AI「Jev」は何が違うのか（@IT） https://atmarkit.itmedia.co.jp/ait/spv/2609/25/news055.html Jev API Tutorial: Building a Ticket Router（DataCamp） https://www.datacamp.com/tutorial/jev-api-tutorial 13
15. Thank you 14