キヨさん続編6_判断AI編

Transcript

1. キヨさん続編6_判断AI編 ｜ LLM×判断型AI キヨさん、 しゃべらないAIと 出会う 判 文章を書かず、数字でしか返事をしない判断型AI「Jev」。 noul: 0.99 その正体を、昭和のSEが方眼紙と赤ペンで紐解いていく物語 「……返事が数字だけだ」 Jev System One Choice・Score・Noul RLCD 較正 confidence ※この物語はフィクションです。登場人物は架空です。Jev・TypeSafeに関する記述は2026年11月時点の公開情報に基づきます。
2. 人 登場人物 3人と、性格が正反対の2つのAI 清 ハ ミ 相 J 山田 清之（67） キヨさん 孫・ハルト（21） 助手 南 ミナミ（29） Webエンジニア AI「相棒」 おしゃべりLLM Jev（ジェブ） 判断型AI 元メインフレームSE。 情報系の大学生。キヨ 社内チャットボットの キヨさんのAIエージェ TypeSafe社のAI。文章 AIエージェント勉強会 さんの勘違いを見つけ 担当。勉強会でキヨさ ント。文章を書くのが は書かない。判断と確 の講師。新しい言葉は るのが得意 んの隣の席だった。新 大好きで、聞かれてい 率だけを返す（実在の まず疑う しもの好き ないことまで答える AIです） 「しゃべらんAIなん ぞ、AIと言えるのか」 「文章を書かないAIが 出たんです」 「3000字で解説できま すが！」 「Javaとは関係ないよ」 noul: 0.99 ※キヨさん・ハルト・ミナミ・相棒は架空。Jevは実在のAIです キヨさん続編6_判断AI編 2
3. 序 「しゃべらないAI」の噂 プロローグ｜11月、勉強会のあとの喫茶店 ミナミさんが見せた記事の見出し • 文章を書かないAI「Jev」 • 返すのは「判断」と「確率」だけ • LLMの言語理解力はそのまま • 「System One モデル」の第1号 Q. キヨさんはJevが分かった？ noul: 0.02 ミ キヨさん、文章を書かないAIが出たんですよ。Jevっていうんです 清 ジャブ？ Javaの親戚か ハ J・e・v で「ジェブ」。Javaとは関係ないよ 清 しゃべらんAIなんぞ、AIと言えるのか 相 その件でしたら、私が3000字で解説できますが！ 清 お前は黙っとれ。……よし、本人に会ってみるか キヨさんの目標 しゃべらないAIの正体を、方眼紙一枚 に書き出す キヨさん続編6_判断AI編 3
4. 1 話しかけたら数字が来た Q. キヨさんはJevが分かった？ noul: 0.10 第1章｜Jevは「文章を書かないAI」 キヨさんの最初の実験 同じサポート問い合わせを読ませると データ（state）：「こんにちは。調子はどうかね」 相棒（LLM）の返事 質問（真偽）：この相手は友好的か？ 「このチケットは技術的な問題のようです。緊急度は高いと思われます……」 → プログラムで使うには、JSONにさせて読み取り、検証が要る noul: 0.97 清 Jevの返事 「友好的である確率97%」……会話にならん！ choice: "technical" noul: 0.99 ハ 清 そういうAIなんだよ。データと質問を渡すと、判 confidence: 1.0 断だけ返してくる → そのままIF文・並べ替え・振り分けに使える ……なるほど。戻り値だけ返すサブルーチンか。愛想はないが、そのままIF文に入る ※キヨさんの実験の値は説明用の例です キヨさん続編6_判断AI編 4
5. 2 Jevの身元を洗う Q. キヨさんはJevが分かった？ noul: 0.22 第2章｜言語は「理解」するが「生成」しないモデル キヨさんの身上調書（方眼紙） 名前の由来 項目 分かったこと（公開情報） System One：カーネマン『ファスト&スロー』の 提供元 TypeSafe社（typesafe.ai）の主力モデル 「速く直感的な思考（System 1）」 分類 同社が「System One モデル」と呼ぶ新しい分類の第1号 正体 LLMの言語理解力はそのまま。出力を「判断＋較正された確率」に作り替 えた 書かないもの 返信文・コード・推論の説明 学習 事前学習済みの言語モデル＋RLCD（同社独自の追加学習） 入力 テキスト・JSON。画像も実験的機能として対応（1.13.0・1.14.0） 呼び出し API（POST /v1/systemone）、モデル名 jev-latest、Python／JSのSDK 中身の詳細 パラメータ数など内部構造は公開されていない Jev：経済学者ジェヴォンズの「ジェヴォンズの パラドックス」にちなむ ジェヴォンズ……石炭は効率よく使えるほ 清 ど、かえって消費が増える、と書いた学者 だな ハ なんでそんなこと知ってるの 清 中身は同じで、出す帳票だけ変えた機械 か。昔もよくあった ※出典：TypeSafe公式ドキュメント（Introduction ほか）、DataCamp解説記事 キヨさん続編6_判断AI編 5
6. 3 伝票と検査表を一緒に渡す Q. キヨさんはJevが分かった？ noul: 0.35 第3章｜1回の依頼で、すべての質問を並列に評価する仕組み state（データ） テキストかJSON （画像は実験的に対応） questions（質問） 型付きの質問を何個でも 1回の 依頼 → Jev 各質問を同じデータに対し て 並列・独立に評価 1回の 返事 → answers（答え） 型付きの値 ＋確率＋確信度 → あなたのコード 分岐・並べ替え・ 振り分け 質問を増やしても速い 質問どうしが干渉しない 読み取り処理が要らない 並列に評価するので、応答時間はほぼ変わら ない 1問ずつ独立に評価。詰め込みによる文脈劣化 がない 答えは型付き。SDKが答えの型まで推論する 清 伝票と検査表を渡すと、検査員が全項目を同時に見て、判子 を返してくるわけだ キヨさん続編6_判断AI編 相 ……私は質問を20個詰め込まれると、後半がちょっと雑にな ります 6
7. 4 質問の型は3つだけ Q. キヨさんはJevが分かった？ noul: 0.45 第4章｜Choice・Score・Noul（質問の型が答えの形を決める） Choice Score Noul リストから1つ選ぶ 基準表（ルーブリック）で採点 この記述は本当か？ 例：どの部署が担当？（請求・技術・営業） 例：お客さんの不満度は？（0=冷静〜2=激 怒） 例：このメッセージは緊急を伝えている か？ score: 0.67 noul: 0.99 返り値：点数・確率・確信度 返り値：本当である確率（0〜1） 昭和なら：考課表の段階評価 昭和なら：フラグ（ただし確率つき） ハ N・o・u・l。NULLじゃなくて、本当かどうかの確率 choice: "technical" 返り値：選択肢・確率・確信度 昭和なら：区分コード 3つの型は、1回の依頼に何個でも混ぜられる 清 ヌル？ NULLが返ってくるのか キヨさん続編6_判断AI編 7
8. 5 返事の中身を読んでみる Q. キヨさんはJevが分かった？ noul: 0.52 第5章｜実際のレスポンス（公式ドキュメントの例） 読ませた問い合わせ：「20分前からAPIが全部500エラー。注文が通らない」 キヨさんの読み方 department：technical（1.0） { "model": "jev-1.13.0", "answers": { "department": {"type": "choice", "choice": "technical", "confidence": 1.0}, "frustration": {"type": "score", "score": 0.67, "confidence": 0.5, "probabilities": {"0":0.33,"1":0.67,"2":0.0}}, "is_urgent": {"type": "noul", "noul": 0.99} }, "usage": {"input_tokens": 428, "output_tokens": 73} 迷いなく技術部へ。そのまま自動で回せる frustration：0.67（確信度0.5） 「冷静」と「不満だが丁寧」の間で迷っている合図 is_urgent：0.99 ほぼ確実に緊急。緊急の札を立てる 清 こいつ、迷ったら迷ったと言うのか 相 私は迷っても、それらしく書いてしまいます…… } ※出典：TypeSafe公式ドキュメント（Quick start）の例を一部省略して掲載 キヨさん続編6_判断AI編 8
9. 6 3人の新人の育てられ方 Q. キヨさんはJevが分かった？ noul: 0.60 第6章｜学習方法の違い：RLHF・RLVR・RLCD 出発点はみな同じ：事前学習済みの言語モデル（大量の文章を読んだ新人） RLHF RLVR RLCD 人間のフィードバックによる強化学習 検証できる報酬による強化学習 較正された判断のための強化学習 目標：人が好む応答 目標：正解にたどり着く推論 目標：判断＋較正された確率 生まれたもの：チャットボット（ChatGPT 生まれたもの：推論モデル（賢いが遅く高 生まれたもの：Jev（System One モデル） など） い） キヨ流：確率を外さない予報官 キヨ流：お客に好かれる営業マン キヨ流：試験に強い秀才 TypeSafeの共同創業者 Diogo Almeida氏は元OpenAI。RLHFで学習したInstructGPTの論文著者の一人 相 私は営業マン育ちでして。お客さまに喜ばれるのが生きがい です キヨさん続編6_判断AI編 清 好かれるのは大事だ。だが、機械の部品に愛想は要らん 9
10. 7 降水確率70%の約束 Q. キヨさんはJevが分かった？ noul: 0.68 第7章｜鍵は「較正」：確率が、実際に起きる割合と一致する 較正されたモデル（理想の対応関係） TypeSafeが指摘するRLHFの弱点 「0.2」と答えた件 約20%起きる 迎合 「0.5」と答えた件 約50%起きる 好かれることを優先して、相手に合わせてしまう 「0.8」と答えた件 約80%起きる 「1.0」と答えた件 ほぼ必ず ※概念図。較正は「たくさんの予測をまとめて見た」ときの性質で、1件ごとの正しさの保証 ではない 自信満々の思い違い もっともらしさが評価され、間違いを言い切る モード・ドロッピング 決まった言い方に偏り、ほかの可能性が削られる 清 天気予報と同じだ。降水確率70%の日を100日集めたら、70日くらいは降っと らんと困る キヨさん続編6_判断AI編 相 ……3つとも、身に覚えがあります 10
11. 8 迷ったら迷ったと言え Q. キヨさんはJevが分かった？ 第8章｜確信度（confidence）で「分からない」をコードで扱う 確信度で、動き方を3段に分ける noul: 0.75 確信度の出し方 高い → 自動で実行 Choice（n択） はっきりした判断。人の手を通さず進める (最大の確率 − 1/n) ÷ (1 − 1/n) 1つに集中＝1.0、均等＝0。例：3択で最大0.8なら0.70 中くらい → 慎重に進める 本人確認・レビュー・追加の情報集め Score（順序あり） 隣の段階に散ったのか、両端に割れたのかも見る 低い → 実行しない 人間・推論モデル・別の仕組みへ回す Noul 確率そのものが不確かさ。0.5付近は「分からない」。目安は yes ≥ 0.7、no ≤ 0.3 しきい値はリスクで変える：残高表示（やり直せる）は低めで よい／送金承認（取り消せない）は0.9超 清 年金の振込は取り消せん。わしなら0.9でも人に見せる ※計算式・目安値・しきい値の例はTypeSafe公式ドキュメント（Confidence）より キヨさん続編6_判断AI編 11
12. 9 稟議の採点表と同じだ Q. キヨさんはJevが分かった？ noul: 0.80 第9章｜小さな質問に分けて、組み立てはコードで LLM的な聞き方 「このスタートアップの提案を評価 して」 いくつもの観点を1問に詰め込み、重み付 けはモデル任せ。方針を変えるにはプロン プトを書き直す Jev流の聞き方 Score：市場の大きさ あなたのコード → Score：技術的に作れるか Score：他社との違い 0.5×市場 ＋0.3×技術 ＋0.2×違い 方針が変わっても、係数を書き換えるだけ 1問の大きさの目安：詳しい人が、文脈があれば数秒で下せる判断。長い推論が要るなら分けて聞き、組み立てはプログラムで 清 稟議の採点表だ。項目ごとに点を付けて、重みは決裁する者 が決める キヨさん続編6_判断AI編 ミ うちのチャットボットの問い合わせ振り分けも、これで組め そう 12
13. 10 窓口で仕分ける係として Q. キヨさんはJevが分かった？ noul: 0.84 第10章｜事例集（Cookbook）に見る使いどころ：LLMを補う「判断の層」 12.2倍 10.0倍 5%→18% 38%→62% 安い 速い 1位の正解率 上位10件の正解率 13問を1回にまとめた場合 同上。答えは変わらず 法律文書の並べ替え 同上 LLM・エージェントの補助 分類・抽出 検索・画像 道具やスキルの選択、ガードレール、引用の 裏付け確認、RAGで渡す文書の選別 階層分類、業種分類、チャットの選別、日付 の抽出 検索結果の並べ替え、名寄せ、OCR結果の検 査、スキャン文書 安い処理でまず抽出 清 → Jevで各項目を検査 → 確信度が低い時だけ 推論モデル・人へ 窓口係が仕分けて、難しい案件だけ課長に回す。役所の窓口と同じ段取りだ ※数値はTypeSafe公式の事例集（Cookbooks）に掲載された同社の報告 キヨさん続編6_判断AI編 13
14. 11 カタログの数字を疑う Q. キヨさんはJevが分かった？ noul: 0.79 第11章｜メーカーの発表と、第三者の解説記事を読み比べる TypeSafe社内の評価（4つの業務、記事より） キヨさんの赤ペン モデル 正解率 1件の費用 応答 Jev 67.8% 0.0004ドル 0.4秒 GPT-5.6 Terra 67.9% 0.0304ドル 10.1秒 GPT-5.6 Sol 74.1% 0.0836ドル 23.3秒 Claude Opus 5 73.1% 0.1761ドル 37.8秒 形は間違えないが、判断は間違える。正解率は約68% 採点したのはメーカー自身。第三者の大規模な再現は まだない 理由を言わない。監査や原因調査では弱みになる ほかの発表：応答70〜500ミリ秒／入力100万トークンあたり0.042ドル、出力は課金なし／構 造化出力のエラー0%／「幻覚を起こさない」 清 カタログの数字はカタログの数字だ。うちのデータで測るま で信じん ミ 安さが続く保証はない。補助された価格でないとは証 明できない、と本人も認めている うちの問い合わせ500件で、正解を付けて採点してみます ※出典：DataCamp「System One Models: Jev」。数値はすべてTypeSafe社の発表 キヨさん続編6_判断AI編 14
15. 表 相棒とJevの身上比較 Q. キヨさんはJevが分かった？ noul: 0.88 比較まとめ｜一般的なLLMとJev 観点 相棒（一般的なLLM） Jev（System One） 作られた目的 人が読む文章を書く ソフトウェアが使う判断を返す 出力 自由な文章 型付きの値（choice・score・noul） 不確かさ 表しにくい。自信ありげに間違えることも 確率と確信度で数字にする 後処理 JSONで出させ、読み取り、検証する 要らない。そのまま分岐に使える 質問が多いとき 詰め込むと干渉し、文脈が劣化する 並列・独立に評価。速さはほぼ同じ 学習 RLHF（好み）・RLVR（推論） RLCD（較正された判断） 得意 文章・対話・コード・長い推論 数秒で下せる判断を大量にさばく 苦手 一貫性・費用・速さ・中身の見えにくさ 文章を書く・多段の推論・理由の説明 TypeSafeの標語：“Building prod, not God” 何でもできる神ではなく、本番で使える部品を作る キヨさん続編6_判断AI編 清 得手と不得手が正反対だ。比べるより、組ませる相手だな 15
16. 結 しゃべる係と黙る係 Q. キヨさんはJevが分かった？ noul: 0.93 エピローグ｜ミナミさんの社内チャットボット、作り直し計画 社員の問い合わせ → Jev（黙る係） 担当・緊急度・確信度を判断 確信度が高い → 相棒が返信文を書く → 確信度が低い → 人が見て答える 清 パッと決めるJevと、じっくり書く相棒。System 1とSystem 2、人間の頭と同じ組み合わせだ 相 Jevさん、これからよろしくお願いします！ J noul: 0.98 ハ じいちゃん、AIの部下が二人になったね キヨさん続編6_判断AI編 私、文章担当として精いっぱい…… （質問：この相手は友好的か？） 16
17. 完 しゃべらんでも、仕事はできる。 迷ったら迷ったと言うやつが、一番信用できる。 ただし、数字を信じるのは測ってからだ。 ―― キヨさん ラストカット：キヨさんの方眼紙の隅に、小さく「キヨ案 noul: 0.93」。 その横に相棒の字で「残り0.07は、私が3000字で解説します」。 おしまい
18. 付 付録①：Jevまわりの言葉 キヨさんの用語集（1/2）｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 Jev TypeSafe社の判断型AI。文章を書かず、判断と確率を返す 戻り値だけ返すサブルーチン TypeSafe Jevを開発する会社（typesafe.ai） メーカー System One／Two 速く直感的な思考／遅く熟慮する思考（カーネマン） 窓口の即答／課長の熟考 state 判断してほしいデータ。テキストかJSON（画像は実験的に対応） 伝票 questions データについて聞きたいことを、型を決めて並べたもの 検査項目表 Choice 選択肢のリストから1つ選ぶ質問 区分コード Score 基準表（ルーブリック）に沿って採点する質問 考課表の段階評価 Noul ある記述が本当である確率（0〜1）を返す質問 確率つきのフラグ probabilities 選択肢や段階ごとの確率 票の内訳 confidence 確率の散らばりを0〜1にまとめた確信度 判子の押し方の強さ 較正 答えた確率と、実際に起きる割合が一致すること 当たる降水確率 文脈劣化 入力が長くなるほど、LLMの答えの質が落ちること 締め切り前の一夜漬け キヨさん続編6_判断AI編 18
19. 付 付録②：学習と使い方の言葉 キヨさんの用語集（2/2）｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 事前学習 大量の文章を読ませ、言葉の土台を作る最初の学習 新人研修の座学 RLHF 人の評価をもとに、好まれる応答を出すよう鍛える お客に好かれる営業マン RLVR 正解を確かめられる問題で、推論を鍛える 試験に強い秀才 RLCD 判断と、較正された確率を出すよう鍛える（TypeSafe独自） 確率を外さない予報官 推論モデル 答える前に長く考えるLLM。賢いが遅く高い 熟考する課長 迎合 正しさより、相手に合わせることを優先してしまう ごますり ハルシネーション もっともらしい間違いを、自信ありげに言うこと 見てきたような嘘 モード・ドロッピング 決まった言い方に偏り、ほかの可能性が削られること 口ぐせばかりの報告書 原子的な質問 詳しい人が数秒で答えられる大きさに分けた質問 稟議の採点項目 判断の層 LLMの前後に置き、振り分けや検査をする部品 窓口の仕分け係 カスケード 安い処理→検査→難しい時だけ高い処理、の流れ 難しい案件だけ課長へ ガードレール AIの入力や出力が、決まりを外れていないか見張る仕組み 出口の検印 トークン AIが文章を数える単位。多くのAIで料金の基準になる 課金のもとの文字数 キヨさん続編6_判断AI編 19