Share
Embed
Video
Transcript
18 slides
-
▪OpenAI何が発表されたか が、学習データの少ない言語での評価を出した OpenAI の記事(2026年10⽉19⽇ 公開) 学習データの少ないプログラミング⾔語で、コーディングの⼒を測った 例: COBOL Fortran Visual
Basic 評価1 MultiLangBench 20⾔語で SQLite 互換のデータベースを作る 評価2 COBOL の移⾏ 動作を変えずに、5つの⾔語へ移す 新しいモデル:GPT- Astra‧GPT- Luna‧GPT- . Sol ⽐べる相⼿:GPT- . Sol 今ココ はじめに 2/18 -
▪モデルが学べるコードと文書の量が違う 学習データの少ない言語 学習データが多い⾔語 Python 今ココ はじめに JavaScript 学習データが少ない⾔語 COBOL Fortran
Visual Basic 公開されているコードと ⽂書がたくさんある 公開されているコードと ⽂書が少ない モデルが学ぶ材料が多い モデルが学ぶ材料が少ない 3/18 -
▪20の言語で、SQLite 評価1:MultiLangBench の課題 互換のデータベースを作らせる 課題:SQLite 互換のデータベースを、⼀から作る 渡すもの:SQLite の⽂書 ∕ 書く⾔語は1つに指定する
20の⾔語 C 記事が取り上げた4つの⾔語 C# C++ COBOL Common Lisp Fortran Go Java JavaScript Lean OCaml PHP PowerShell Python Ruby Rust Scala Swift Visual Basic Zig 今ココ 評価の中身 5/18 -
▪確認の問い合わせが、正解の出力と同じになるかで決める 評価1:MultiLangBench の採点 最初の データベース 問い合わせを 実⾏する 確認の 問い合わせ 本物の
SQLite で 確かめる テストは SQLite のテストを元に作っている(作らせるのは SQLite . . の互換品) 不合格になるもの 結果が違う ∕ 途中で落ちる ∕ 60秒を超える 指定と違う⾔語が混ざると、通過率は 0 記録するもの:テストの通過率 と API の費⽤ README の決まりでは、使うテストは 272 個 公開先:github.com/openai/MultiLangBench 今ココ 評価の中身 6/18 -
▪動作を変えずに、ほかの言語へ移せるか 評価2:COBOL の移行 C++ COBOL Java ‧隠したテストを、すべて通る ‧外から⾒える出⼒が、 バイト単位で同じ Kotlin
1つでも違えば、その移⾏は失敗 Python 記事に書いていないこと Rust 今ココ 評価の中身 成功と数える条件 ‧プログラムの数と中⾝ ‧この評価を公開するかどうか 7/18 -
▪OpenAI結果:MultiLangBench の平均 自身の評価の数字 GPT- . Sol(前) GPT- Astra(新) 推論の強さ:最⼤ 20⾔語の平均(テストの通過率)
GPT- . Sol .% GPT- Astra .% GPT- Astra は、20⾔語のうち19⾔語で 83% を超えた いちばん低かったのは COBOL の 72% 今ココ 結果 8/18 -
▪学習データの少ない4つの言語 結果:言語ごとの通過率 GPT- . Sol(前) % GPT- Astra(新) .% 推論の強さ:最⼤
.% .% .% % % 今ココ 結果 .% .% .% OCaml Fortran Visual Basic .% COBOL 9/18 -
▪通過率と、1回あたりの費用 結果:費用を抑えた GPT-6 Luna GPT- . Sol GPT- Luna(費⽤を抑えたモデル) テストの通過率(20⾔語の平均)
GPT- . Sol 1回あたりの API の費⽤(推定) GPT- . Sol 今ココ 結果 .% .% GPT- Luna GPT- Luna 推論の強さ:最⼤ $. $. 10/18 -
▪OpenAI結果:COBOL の移行 自身の評価の数字 GPT- . Sol 推論の強さ:低い GPT- . Sol
GPT- . Sol 成功の割合(隠したテストをすべて通った割合) GPT- . Sol と ⽐べた API の費⽤ 約6割 (39%少ない) .% GPT- . Sol 推論の強さ:⾼い GPT- . Sol .% .% 記事では「飽和に近い」と書いている(この評価では、ほぼ満点に近い) 今ココ 結果 11/18 -
▪どこまでが分かっていて、どこからが分からないか 数字を読むときの注意 評価したのは OpenAI ⾃⾝ 外の⼈が同じ条件で試した結果ではない 評価ごとに、使ったモデルが違う MultiLangBench は GPT-
Astra、COBOL の移⾏は GPT- . Sol 公開されているのは⽚⽅だけ MultiLangBench は GitHub で公開、COBOL の移⾏は記載なし 今ココ 結果 12/18 -
▪銀行やカードの取引を支えている COBOL がまだ残っている所 1960年:COBOL の最初の版が出る それから60年以上、業務のシステムで使われてきた 40%超 オンラインバンキングの システム %
対⾯での クレジットカード決済 % ATM の 取引 出典:OpenAI の記事が引いている IBM の解説(IBM は PC Mag の2023年12⽉の記事を引⽤) 今ココ 背景と注意 13/18 -
▪移行を 動作が同じかをテストで確かめる AI に任せるときの基本 ⼊⼒ 今の COBOL 出⼒ A 同じ⼊⼒
移したコード 出⼒ B バイト単位で ⽐べる テストに⼊れる⼊⼒ ‧よく使うデータに加えて、端の値やエラーになる値も⼊れる ‧出⼒は画⾯だけでなく、ファイルや帳票も⽐べる 今ココ 背景と注意 14/18 -
▪正解は「同じ出力か」で決めている。移すときもテストで確かめる まとめ 数字は⼤きく上がった 結果 正解は「同じ出⼒か」で決めている 評価 OpenAI ⾃⾝の評価で、MultiLangBench . %
→ . %、COBOL の移⾏は最⼤ 97.9% 読みやすさではなく、本物と同じ結果‧同じ出⼒かを測っている 移すときもテストで確かめる 数の扱い‧周りとのつながり‧業務のルールは、⼈が⾒る 今ココ まとめ 移すとき 16/18 -
▪一度止めて考えてみてください。答えは次のページで 今回のクイズ OpenAI の COBOL 移行の評価で、移行が「成功」と数えられる条件はどれ? A エラーなくコンパイル できる 今ココ
まとめ B 隠したテストを全部通 り、出力が同じ C 人のレビュアーが読み やすいと判定する D 元の COBOL より速く 動く 17/18 -
▪隠したテストをすべて通ったときだけが成功 クイズの答えは「B」 今回のクイズ OpenAI の COBOL 移⾏の評価で、 移⾏が「成功」と数えられる 条件はどれ? 隠したテストをすべて通ったとき
だけが成功。テストは、外から⾒える 出⼒がバイト単位で同じことを求める 答えは B 今ココ まとめ A エラーなくコンパイルできる コンパイルが通るだけでは成功にならない B 隠したテストを全部通り、出⼒が同じ 記事の成功の条件(出⼒はバイト単位で同じ) C ⼈のレビュアーが読みやすいと判定する 読みやすさは条件に⼊っていない COBOL より速く動く D 元の 速さは条件に⼊っていない 18/18