【AIニュース】GPT-6 で COBOL の移行はどこまでできる？

Transcript

1. AIニュース（2026年10月） GPT-6 で COBOL の移行は どこまでできる？ 学習データの少ない言語で、AI のコーディングはどこまで来たか 赤神 青空
2. ▪OpenAI何が発表されたか が、学習データの少ない言語での評価を出した OpenAI の記事（2026年10⽉19⽇ 公開） 学習データの少ないプログラミング⾔語で、コーディングの⼒を測った 例： COBOL Fortran Visual Basic 評価1 MultiLangBench 20⾔語で SQLite 互換のデータベースを作る 評価2 COBOL の移⾏ 動作を変えずに、5つの⾔語へ移す 新しいモデル：GPT- Astra‧GPT- Luna‧GPT- . Sol ⽐べる相⼿：GPT- . Sol 今ココ はじめに 2/18
3. ▪モデルが学べるコードと文書の量が違う 学習データの少ない言語 学習データが多い⾔語 Python 今ココ はじめに JavaScript 学習データが少ない⾔語 COBOL Fortran Visual Basic 公開されているコードと ⽂書がたくさんある 公開されているコードと ⽂書が少ない モデルが学ぶ材料が多い モデルが学ぶ材料が少ない 3/18
4. ▪記事が挙げている3つ 古いコードを直すのが難しい理由 ⽂書がそろっていない 仕様書が⽋けていたり、古いままだったりする 作った⼈がもういない 書いた本⼈に聞けないことがある 業務のルールが、コードの中にしかない コードを読まないと、決まりが分からない 今ココ はじめに 4/18
5. ▪20の言語で、SQLite 評価1：MultiLangBench の課題 互換のデータベースを作らせる 課題：SQLite 互換のデータベースを、⼀から作る 渡すもの：SQLite の⽂書 ∕ 書く⾔語は1つに指定する 20の⾔語 C 記事が取り上げた4つの⾔語 C# C++ COBOL Common Lisp Fortran Go Java JavaScript Lean OCaml PHP PowerShell Python Ruby Rust Scala Swift Visual Basic Zig 今ココ 評価の中身 5/18
6. ▪確認の問い合わせが、正解の出力と同じになるかで決める 評価1：MultiLangBench の採点 最初の データベース 問い合わせを 実⾏する 確認の 問い合わせ 本物の SQLite で 確かめる テストは SQLite のテストを元に作っている（作らせるのは SQLite . . の互換品） 不合格になるもの 結果が違う ∕ 途中で落ちる ∕ 60秒を超える 指定と違う⾔語が混ざると、通過率は 0 記録するもの：テストの通過率 と API の費⽤ README の決まりでは、使うテストは 272 個 公開先：github.com/openai/MultiLangBench 今ココ 評価の中身 6/18
7. ▪動作を変えずに、ほかの言語へ移せるか 評価2：COBOL の移行 C++ COBOL Java ‧隠したテストを、すべて通る ‧外から⾒える出⼒が、 バイト単位で同じ Kotlin 1つでも違えば、その移⾏は失敗 Python 記事に書いていないこと Rust 今ココ 評価の中身 成功と数える条件 ‧プログラムの数と中⾝ ‧この評価を公開するかどうか 7/18
8. ▪OpenAI結果：MultiLangBench の平均 自身の評価の数字 GPT- . Sol（前） GPT- Astra（新） 推論の強さ：最⼤ 20⾔語の平均（テストの通過率） GPT- . Sol .% GPT- Astra .% GPT- Astra は、20⾔語のうち19⾔語で 83% を超えた いちばん低かったのは COBOL の 72% 今ココ 結果 8/18
9. ▪学習データの少ない4つの言語 結果：言語ごとの通過率 GPT- . Sol（前） % GPT- Astra（新） .% 推論の強さ：最⼤ .% .% .% % % 今ココ 結果 .% .% .% OCaml Fortran Visual Basic .% COBOL 9/18
10. ▪通過率と、1回あたりの費用 結果：費用を抑えた GPT-6 Luna GPT- . Sol GPT- Luna（費⽤を抑えたモデル） テストの通過率（20⾔語の平均） GPT- . Sol 1回あたりの API の費⽤（推定） GPT- . Sol 今ココ 結果 .% .% GPT- Luna GPT- Luna 推論の強さ：最⼤ $. $. 10/18
11. ▪OpenAI結果：COBOL の移行 自身の評価の数字 GPT- . Sol 推論の強さ：低い GPT- . Sol GPT- . Sol 成功の割合（隠したテストをすべて通った割合） GPT- . Sol と ⽐べた API の費⽤ 約6割 （39%少ない） .% GPT- . Sol 推論の強さ：⾼い GPT- . Sol .% .% 記事では「飽和に近い」と書いている（この評価では、ほぼ満点に近い） 今ココ 結果 11/18
12. ▪どこまでが分かっていて、どこからが分からないか 数字を読むときの注意 評価したのは OpenAI ⾃⾝ 外の⼈が同じ条件で試した結果ではない 評価ごとに、使ったモデルが違う MultiLangBench は GPT- Astra、COBOL の移⾏は GPT- . Sol 公開されているのは⽚⽅だけ MultiLangBench は GitHub で公開、COBOL の移⾏は記載なし 今ココ 結果 12/18
13. ▪銀行やカードの取引を支えている COBOL がまだ残っている所 1960年：COBOL の最初の版が出る それから60年以上、業務のシステムで使われてきた 40%超 オンラインバンキングの システム % 対⾯での クレジットカード決済 % ATM の 取引 出典：OpenAI の記事が引いている IBM の解説（IBM は PC Mag の2023年12⽉の記事を引⽤） 今ココ 背景と注意 13/18
14. ▪移行を 動作が同じかをテストで確かめる AI に任せるときの基本 ⼊⼒ 今の COBOL 出⼒ A 同じ⼊⼒ 移したコード 出⼒ B バイト単位で ⽐べる テストに⼊れる⼊⼒ ‧よく使うデータに加えて、端の値やエラーになる値も⼊れる ‧出⼒は画⾯だけでなく、ファイルや帳票も⽐べる 今ココ 背景と注意 14/18
15. ▪人が確かめる所を残しておく テストだけでは足りない所 数の扱い COBOL は余った桁を切り捨てる。移した先で四捨五⼊すると⾦額が変わる（記事の例） 周りのシステムとのつながり ファイルの形式‧⽂字コード‧ほかのプログラムからの呼び出し 業務のルール ルールどおりかは、分かる⼈がレビューする 今ココ 背景と注意 15/18
16. ▪正解は「同じ出力か」で決めている。移すときもテストで確かめる まとめ 数字は⼤きく上がった 結果 正解は「同じ出⼒か」で決めている 評価 OpenAI ⾃⾝の評価で、MultiLangBench . % → . %、COBOL の移⾏は最⼤ 97.9% 読みやすさではなく、本物と同じ結果‧同じ出⼒かを測っている 移すときもテストで確かめる 数の扱い‧周りとのつながり‧業務のルールは、⼈が⾒る 今ココ まとめ 移すとき 16/18
17. ▪一度止めて考えてみてください。答えは次のページで 今回のクイズ OpenAI の COBOL 移行の評価で、移行が「成功」と数えられる条件はどれ？ A エラーなくコンパイル できる 今ココ まとめ B 隠したテストを全部通 り、出力が同じ C 人のレビュアーが読み やすいと判定する D 元の COBOL より速く 動く 17/18
18. ▪隠したテストをすべて通ったときだけが成功 クイズの答えは「B」 今回のクイズ OpenAI の COBOL 移⾏の評価で、 移⾏が「成功」と数えられる 条件はどれ？ 隠したテストをすべて通ったとき だけが成功。テストは、外から⾒える 出⼒がバイト単位で同じことを求める 答えは B 今ココ まとめ A エラーなくコンパイルできる コンパイルが通るだけでは成功にならない B 隠したテストを全部通り、出⼒が同じ 記事の成功の条件（出⼒はバイト単位で同じ） C ⼈のレビュアーが読みやすいと判定する 読みやすさは条件に⼊っていない COBOL より速く動く D 元の 速さは条件に⼊っていない 18/18