その判定、LLMじゃなくていい／DevelopersIO 2026

DevelopersIO 2026 での登壇資料です。

Transcript

1. その判定、LLM じゃなくていい Decision Model で「迷ったら人間」を設計する AI事業本部 生成AIインテグレーション部 川田 圭真（けーま）
2. 自己紹介 名前 川田 圭真（かわだ けいま） 所属 AI事業本部 生成AIインテグレーション部 エンジニア 好きなこと DevelopersIO FCバルセロナのサッカー観戦 大学・大学院 SIer 大学・大学院で 物理学を専攻 • 国家プロジェクト • 基幹システムの要件定義から保守まで • DBマイグレーション • OCRの構築 • 生成AI活用ガイドラインの作成 • AI駆動開発支援 • SAPの運用保守 • AIエージェントの構築 約3年 クラスメソッド 2026年4月〜 X @keimakawada 主な保有資格 © 2026 Classmethod, Inc. 2
3. 今日の対象と、持ち帰ってほしいこと こんな方に 分類や判定のたびに、 大きな LLM を呼んでいる方 LLM の答えを どこまで信じてよいか 迷っている方 © 2026 Classmethod, Inc. 持ち帰ってほしいこと Decision Model と普通の LLM の違い 確率で「迷ったら人間」に回す設計 閾値を自分のデータで決める手順 3
4. アジェンダ 1 課題：確認する人がボトルネック 2 Decision Model とは 定義・歴史・4 つのモデル 3 具体例：2 つの値が同じ意味かを判定する Jev に聞いて、閾値で振り分ける 4 普通の LLM に同じことをさせると 5 閾値をどう決めるか 閾値の決め方 6 まとめ © 2026 Classmethod, Inc. 4
5. 課題
6. 書類処理の役割分担 処理の性質ごとに、プログラム・AI・人へ分けるのが一般的です。 流れ作業ではなく、役割の分担です。 プログラム AI 人 決まった手順で 多少間違っても 絶対にミスできない所 処理できる所 よい所 （Human in the Loop） 一番時間がかかるのは「人のチェック」 © 2026 Classmethod, Inc. 6
7. AI は速く安くなった。確認する人がボトルネック AI は速く、安くなりました。 でも結局、チェックや判断をする人のところで待っています。 AI 人（いつもの例） 速くなった コーディングエージェントの許可を押す 安くなった 「ここどうしますか？」に考えて答える 件数が増えても待たない AI の結果をチェックする 迷うものだけを人に回したい。そのために「確率」が要る © 2026 Classmethod, Inc. 7
8. Decision Model とは
9. Decision Model とは：Yes の確率を返すモデル 質問に Yes/No で答え、「Yes である確率」（0〜1）を返します。 文章は書きません。 © 2026 Classmethod, Inc. 9
10. コードにすると、これだけ © 2026 Classmethod, Inc. 10
11. 2026 年秋、各社が Decision Model を出した TypeSafe の Jev をきっかけに、 各社がものすごいスピードで次々と出してきました。 日付（2026 年） モデル 会社 9/15 Jev TypeSafe 9/29 Decisions API OpenAI 10/1 Clef ／ Strands Decider Cloudflare ／ Strands Labs 10/5 d1 Liquid AI 10/9 Decision-1 Microsoft 10/14 Jev 1.14 TypeSafe © 2026 Classmethod, Inc. 11
12. 特徴とできること 出力の料金は 0 円。速くて安いのが特徴です。 0円 約 0.7 秒 $0.042 出力の料金 Jev の 1 件の応答時間 Jev の入力料金 4 つのモデル(Jev/Decisions API/Clef/Decision-1)すべて 日本から測定（公式は 0.07〜0.5 秒） 100 万トークンあたり 答えの型 返るもの 例 Yes/No（noul） Yes の確率 2 つの値は同じか 選択（choice） 選択肢ごとの確率 書類の種類はどれか 段階（score） 段階ごとの確率 緊急度は 1〜5 のどれか ※ 公式の発表：普通の LLM（1 件 3〜329 秒）の 1/40〜1/200 の時間（TypeSafe の自社比較、米国から測定） © 2026 Classmethod, Inc. 12
13. 4 つのモデル：どこから使えて、どこで処理されるか 違いが出るのは処理する場所です。 日本だけで処理できる、と公式に書いてある経路はありません。 モデル 使えるサービス 処理リージョン 入力の学習 Jev TypeSafe・Vercel・Cloudflare・ OpenRouter 米国でホスト（TypeSafe） 使わない ※ Clef Cloudflare・OpenRouter 固定できない（Cloudflare） 使わない Decisions API OpenAI・Vercel・OpenRouter 米国・欧州を指定可 （日本は保存のみ） 使わない Decision-1 Foundry・Vercel・OpenRouter APAC 内を指定可 （日本東・西を含む） 使わない ※ TypeSafe はテレメトリをサービス改善に使うことがある。経由するサービスごとの詳細は付録 © 2026 Classmethod, Inc. 13
14. 具体例：2 つの値が同じ意味かを判定する
15. 具体例：2 つの値が同じ意味かを Jev に聞く 2 枚の書類から取った値の組を 107 件用意し、 「書き方が違っても同じ値か」を Jev に聞きました。 1 文字の読み間違い（オレンジの行）は 0.76。「同じ」寄りで迷っている © 2026 Classmethod, Inc. 17
16. 閾値で振り分けてみる：0.8 以上と 0.2 以下 確率が 0.8 以上なら「同じ」、0.2 以下なら「違う」とし、 その間の迷っているものだけ、人が判断します。 人が迷いを判断するのは 14 件だけ。「違う」27 件は、人が書類を直しに行く © 2026 Classmethod, Inc. 19
17. 普通の LLM に同じことをさせると
18. 料金と速さ 費用は約 19 分の 1、応答時間は半分以下でした。 比べたもの Jev Gemini 3.8 Flash 107 件の費用 ※1 $0.0023（約 0.35 円 ※2） $0.0429（約 6.4 円 ※2） 1 件の応答時間（107 件の中央値） 約 0.7 秒 約 1.6 秒 正答（欠損などを除く 99 件） 93 件 94 件 料金（100 万トークン） 入力 $0.042・出力 0 円 入力 $0.75・出力 $3.75 簡単な判定なら、賢さは同じくらい。 この表だけ見ると、違いは「安さ」と「速さ」に見える ※1 書類どうしの値の組（例：「2026/09/12」と「2026年9月12日」） ※2 1 ドル＝150 円で換算 © 2026 Classmethod, Inc. 15
19. 確率の出方：Gemini は 0 か 1、Jev は間にも出る 「同じ値である確率」を聞くと、Gemini は 0 か 1 しか答えません。 Jev は 0.3 や 0.7 のような中間の値も返します。（107 件の値の組で比較） © 2026 Classmethod, Inc. 18
20. 閾値をどう決めるか
21. 確率はそれなりに信頼できる はっきり答えた（0.9 以上か 0.1 以下）81 件は 80 件が正解。 迷った（0.2〜0.8）14 件は 7 件しか合っていません。 © 2026 Classmethod, Inc. 21
22. 上の閾値を動かすと、人とすり抜けが入れ替わる 閾値を上げるほど、ミスは減るが人の確認は増える。 0.8 なら確認 14 件・ミス 3 件、0.9 なら 19 件・1 件。 © 2026 Classmethod, Inc. 22
23. バージョンが変わると確率も動く 同じバージョンのまま 4 週間後に聞き直すと、確率はほとんど動きませんでした。 バージョン(Jev)を 1.13 → 1.14 に上げると、6 件の振り分けが変わりました。 © 2026 Classmethod, Inc. 23
24. 閾値の決め方 閾値は自分のデータで決め、バージョンを上げたら測り直します。 © 2026 Classmethod, Inc. 24
25. まとめ
26. まとめ LLM は答えを返す。Decision Model は「Yes である確率」を返す 確率で「AI に任せる」「人が見る」を分けられるかも？ 閾値は自分のデータで決める。ミスを許せないなら閾値を上げる モデルのバージョンを変えたら測り直す AI の結果を全部見るのをやめて、迷うものだけ人へ © 2026 Classmethod, Inc. 26
27. ご清聴ありがとうございました この後ろに、検証の詳細と API の呼び方を付録として載せています。 DevelopersIO dev.classmethod.jp/author/kawada-keima/ © 2026 Classmethod, Inc. X x.com/keimakawada 27
28. 付録：製品の比較と最近の進化
29. 入力できるもの 画像が正式な機能なのは Clef 系と Decisions API です。 Jev の画像は実験機能、Decision-1 はテキストだけです。 モデル テキスト・JSON 画像 音声・動画 コンテキストウィンドウ Jev ◦ △ 実験機能（専用ヘッダー） × 64k（1 問 32k） Clef ◦ ◦ 最大 4 枚 動画 △ セルフホストのみ （フレーム配列） 65,536 Clef-flash ◦ ◦ 最大 4 枚 動画 △ セルフホストのみ （フレーム配列） 24,576（10/9 に 64K から縮小） Clef-omni ◦ ◦ ◦ 64,000 Decisions API ◦ ◦ base64 か公開 URL × 記載なし Decision-1 ◦ × × 32K Strands Decider ◦ × × 記載なし © 2026 Classmethod, Inc. 43
30. Jev 1.13 → 1.14 で変わったこと 1.14 と同じ日に実験機能が 3 つ出ました（box 以外は 1.13 でも使えます）。 項目 初公開（9/15） 1.14.0（10/14） 多言語 日本語なども扱える（英語より弱い） 多言語の性能が向上（公式ブログより） 画像 実験機能（専用ヘッダー） 実験機能（専用ヘッダー） 答えの型 noul・choice・score box を追加（preview） データ 学習に使わない 問題発見に使うオプトインを追加 © 2026 Classmethod, Inc. 46
31. Jev 1.14 の box：画像の中の位置を返す 聞き方 「TOTAL 行の合計金額は どこ？」と type: "box" で聞く 返却値：上下左右の端（割合）と confidence 今は「だいたいの場所」がわかる程度。 1 行ずれることもある 赤：Jev の枠 緑：正解 架空の書類で 2026-10-15 に検証 © 2026 Classmethod, Inc. 46
32. Clef は 3 つのモデルになった 10/9 に音声も読める Clef-omni が加わり、Clef-flash は約 6 割の値下げ、 Clef は最大 2 倍速くなりました。 項目 Clef Clef-flash Clef-omni 大きさ・ベース 27B・Qwen3.8-27B 9B・Qwen3.5-9B 30B・MoE（3B 動作） 入力 100 万トークン $0.24 $0.090 → $0.038 $0.15 コンテキストウィンドウ 65,536 64K → 24,576 64,000 入力 テキスト・画像 （動画はセルフホストのみ） テキスト・画像 （動画はセルフホストのみ） テキスト・画像・ 音声・動画 © 2026 Classmethod, Inc. 47
33. 付録：使ってみて感じたこと（個人の主観）
34. 普段は主にコーディングエージェントで使っている Jev コンパクト：不要なツール結果を Jev で選んで消します（1 秒以内） サブエージェント：動かすモデルやエフォートを Jev で選びます メインモデルのエフォートも Jev で決めます 検索内容に合うアプリやブラウザのタブを前面に出します 毎日動かしても 1 日 $0.1 に届きません（体感） © 2026 Classmethod, Inc. 59
35. 実際の画面：エフォートとサブエージェントを Jev が決める 左：依頼ごとにエフォートを選定（medium → low） 右：サブエージェントを Haiku で起動 © 2026 Classmethod, Inc. 60
36. コーディングエージェントの振り分けを 3 つで比較 自分の Claude Code への依頼 326 件で、「どのモデルで・どの effort で」を Jev・Decision-1・Strands Decider に同じように選ばせました。 モデル 選んだモデル（Haiku / Sonnet / Opus） effort low 読ませた量（トークン中央値） Jev 134 / 160 / 32 257（79%） 16,456 Decision-1 157 / 81 / 85 ※1 289（89%） 13,053 Strands Decider 23 / 302 / 1 44（13%） 3,908 ※2 Jev と Decision-1 は似ていて（effort の一致 267 件）、Strands は Sonnet に寄りがち。 正解は決めていないので「どれが正しいか」ではなく「選び方のくせ」の比較です。 ※1 Decision-1 は Fable も 3 件。2026-10-12〜15 の依頼 334 件のうち、3 つとも答えが返った 326 件。依頼の文面は載せていません。 ※2 Strands Decider はコンテキストウィンドウが 4,096 トークンと小さいため、超えた分は切れて届きます。 © 2026 Classmethod, Inc. 60
37. 日本語の精度は製品で大きく違う Jev は日本語も強いです。Clef は弱めです。 製品 突合の正答（106 件中） OCR の誤りを見つけた数（36 件中） Jev 日本語 97・英語 96 34 件（v1.14） Decisions API（gpt-6-luna） 日本語 91・英語 90 34 件 Microsoft-Decision-1 日本語 95・英語 97 画像は不可 Clef 日本語 76・英語 91 32 件 © 2026 Classmethod, Inc. 57
38. 苦手なのは計算と単位 計算が絡む判断は、Jev に任せない方がよいと感じています。 閾値 0.8 ですり抜けた 2 件は、単位や計算が絡むもの choice 型で外した 9 件中 4 件は、単位・通貨の取り違え 例：500 KG と 500 LBS 計算や決まったルールは、先にプログラムで確認する © 2026 Classmethod, Inc. 61
39. 迷ったものだけ LLM に回す手もある はっきり答えたもの（0.9 以上か 0.1 以下）は Jev に任せ、 残りだけ LLM で確認します。全部 LLM より安く、正答は同じくらいでした。 構成 正答（106 件中） LLM に回る件数 1 万件あたり 全部 Jev 95 0 件（0%） $0.21 Jev → 迷ったものだけ Gemini 101 25 件（23%） $1.47 全部 Gemini 100 107 件（100%） $4.01 試算：突合 107 件・英語の質問文 © 2026 Classmethod, Inc. 62
40. ローカルよりクラウドで十分 手元の Mac で Strands Decider を動かしたら、メモリ不足で固まりました。 項目 Strands Decider（ローカル） Jev（クラウド） 常駐メモリ 約 5.0〜7.9GB（16GB の Mac） 手元では使わない 突合の正答（106 件中） 日本語 37・英語 61（v19） 日本語 97・英語 96 費用 無料（自分のマシン） 入力 100 万トークン $0.042 © 2026 Classmethod, Inc. 56
41. 付録：DevelopersIO の記事
42. 自分の記事（Jev・Clef） この資料の詳細な検証はこちらにあります！ 日付 記事 URL（dev.classmethod.jp/articles/…） 9/19 Jev に PDF や PNG を Base64 で渡したら読めるか typesafe-jev-base64-pdf 9/20 Jev で書類項目の突合はどこまでできるか typesafe-jev-cross-match 9/21 Gemini 3.8 Flash と Jev で同じ 107 ケースを比較 jev-vs-gemini-flash-cross-match 9/21 Jev で OCR 済みの書類を種別判定 typesafe-jev-doc-type-classification 10/4 Cloudflare の Clef とは？ cloudflare-clef-overview 10/4 Clef に書類の種類を分類させた cloudflare-clef-doc-classification 10/4 Clef に書類画像（英語）の OCR の誤りを探させた cloudflare-clef-ocr-verification 10/4 Clef に書類画像（日本語）の OCR の誤りを探させた cloudflare-clef-ocr-verification-ja 10/5 Clef で書類の値の突合をさせ、Jev と比べた cloudflare-clef-cross-match © 2026 Classmethod, Inc. 64
43. 自分の記事（Strands Decider・Decisions API） Decisions API は、Jev・Clef と同じ書類で比べています。 日付 記事 URL（dev.classmethod.jp/articles/…） 10/6 Strands Decider を M5 の Mac で動かし、速度とメモリを測った strands-decider-local-setup 10/7 OpenAI の Decisions API とは？ openai-decisions-overview 10/10 Decisions API に書類の種類を分類させ、Clef と比べた openai-decisions-doc-classification 10/11 Decisions API に書類画像（英語）の OCR の誤りを探させた openai-decisions-ocr-verification 10/11 Decisions API に書類画像（日本語）の OCR の誤りを探させた openai-decisions-ocr-verification-ja 10/12 Decisions API で書類の値の突合を試し、Jev・Clef と比べた openai-decisions-cross-match © 2026 Classmethod, Inc. 65
44. 弊社の他の人の記事（Jev を使ってみた） ルーティング、名寄せ、評価の judge など、使い道はさまざまです。 日付 書いた人 記事 URL（dev.classmethod.jp/articles/…） 9/17 森永大志 モデルルーティングを Jev に置き換えた jev-for-llm-model-routing 9/18 森永大志 NeMo Switchyard に Jev を組み込むライブラリ jev-support-for-nemo-switchyard 9/20 嶋田怜央成 NeMo Switchyard の Classifier を Jev に替えた reona-dgx-spark-switchyard-jev-classifier 9/20 くどう Jev を具体例でわかりやすく解説 jev-guide-with-examples 9/23 越井琢巳 スクリプト選びを Jev に任せたら Codex の 52% の時間 jev-codex-script-selection-time-reduction 9/24 kobayashi.m Jev で 1,000 行の名簿の名寄せ typesafe-jev-table 9/24 nokomoro3 Jev を SDK から使い、仕組みを考えた typesafe-ai-jev-architecture 9/26 kobayashi.m DeepEval の judge を Jev に置き換えた litellm-deepeval-jev 9/28 武田 Jev で動くブラウザエージェントと Claude Code を比べた jev-browser-agents-vs-claude-code-playwright-mcp © 2026 Classmethod, Inc. 66
45. 弊社の他の人の記事（Decision Model の仲間） Jev 以外の Decision Model や、手元で動く互換モデルの記事です。 日付 書いた人 記事 URL（dev.classmethod.jp/articles/…） 9/18 森茂洋 OpenJev を読んで、生成しない AI の別解を考えた openjev-non-generative-ai-alternatives 9/23 森茂洋 Nemotron の判定役を 1 トークン判定に dgx-spark-lightning-judge-single-token-jev-inspired 9/24 嶋田怜央成 判定を蒸留した 2B を Classifier に reona-dgx-spark-switchyard-distill-classifier 9/26 森茂洋 生成しない決定モデル CLM を試した clm-contrastive-language-model-switchyard-judge 9/27 suzuki.ryo Jev 互換の OSS「Kev」を Docker で試した kev-oss-jev-compatible-docker 9/27 suzuki.ryo Kev を M4 Mac の MLX で動かした kev-oss-jev-compatible-mlx-mac 9/27 suzuki.ryo Kiro Crew の Auto (Jev) をローカル Kev で試した kiro-crew-auto-jev-model-route-local-kev 10/3 suzuki.ryo Strands Decider 2B を M4 Mac で試し、Kev・Jev と比べた strands-decider-2b-m4-mac-kiro-crew 10/4 - Decision 2.0 を Strands Decider と同じ 20 問で試した decision2-strands-decider-20q-m4-mps 10/8 山本暁斗 Decisions API を日本語テキストと画像で試した openai-decisions-api-hands-on © 2026 Classmethod, Inc. 67
46. 参考：話題になった Decision Model の使い方 ブラウザ操作（Jev Ultrafast × Browser Use） Google Flights の検索を 7 秒・$0.0039 で終える https://x.com/gregpr07/status/2100411066966749359 卵の品質検査 写真から clean / dirty / cracked を判定（OpenAI 公式も紹介） https://x.com/erik_kokalj/status/2107902595532824856 Clef-omni のペット翻訳と動画検索 鳴き声と映像からペットの気持ちを判定／70 分の動画を事前判定して検索 https://x.com/lucataco/status/2108644203739644225 https://x.com/lucataco/status/2108698509319012572 X の投稿。内容は投稿者の説明で、手元では再現していません（2026-10-22 時点）。 © 2026 Classmethod, Inc. 68