オープンソースAIの開発事情 (2026-07-22 @NLPコロキウム)

Transcript

1. オープンソースAIの開発事情 小田 悠介 （国立情報学研究所） 2026-07-22 NLPコロキウム
2. LLM-jp LLM-jp (LLM勉強会) • • 日本語LLMを構築するためのオープンサイエンス組織（NII主宰） ◦ LLMの動作原理を究明 ◦ モデル・データ・ツールなど成果物の公開 ▪ 成功事例だけでなく失敗事例も共有 ポリシーに賛同する人は誰でも参加可能 2023-05: 2023-10: First 13B First meetup model 30名のNLP研究者で 開始 2024-09: 2024-12: LLM-jp-3 LLM-jp-3 ~13B 172B (7 models) 2025-03: LLM-jp-3 MoE 8x1.8B, 8x13B 2024-04: NII LLM研究開発センター (LLMC) 2025-05: LLM-jp-3.1 (3 models) Now: Training v4 models 2000~ 参加者 2
3. LLM-jp/LLMCの体制
4. LLM-jpのモデルシリーズ • LLM-jp-3 (2024-2025) ◦ ◦ • Dense LLM-jp-4 (2025-2026) ◦ Dense ▪ LLM-jp-3 150M ▪ LLM-jp-4 2B （学習中） ▪ LLM-jp-3 440M ▪ LLM-jp-4 8B ▪ LLM-jp-3 980M ▪ LLM-jp-4 33B（リリース準備中） ▪ LLM-jp-3 1.8B ▪ LLM-jp-3 3.7B ▪ LLM-jp-4 32B-A3B ▪ LLM-jp-3 7.2B ▪ LLM-jp-4 291B-A27B（学習中） ▪ LLM-jp-3 13B ▪ LLM-jp-3 172B (非OSS) MoE ▪ LLM-jp-3 8x1.8B ▪ LLM-jp-3 8x13B ◦ • MoE LLM-jp-3と4の主な違い ◦ ◦ ◦ ◦ ◦ 学習トークン数（ 2T vs 12T） 事前学習ステージ数（ 1 vs 5: 事前2+中間3） コーパス比率（日英半々 vs 英語優位） チューニングデータの改良 Reasoning対応
5. LLM-jp-4の学習曲線（英語ダウンストリーム平均） 2026-07-22現在
6. ダウンストリーム比較（日本語・単答タスク・最終モデル）
7. ダウンストリーム比較（生成タスク） • LLM-jpモデルは伝統的にMT-Benchが強くなるよう調整されている。 ◦ • 一問一答の会話には結構強い プロジェクト的には安全性指標・instruction followingが大事 ◦ 頑張りたい
8. 再掲：LLM-jpのモデルシリーズ • LLM-jp-3 (2024-2025) ◦ ◦ Dense • LLM-jp-4 (2025-2026) ◦ Dense ▪ LLM-jp-3 150M ▪ LLM-jp-4 2B （学習中） ▪ LLM-jp-3 440M ▪ LLM-jp-4 8B ▪ LLM-jp-3 980M ▪ LLM-jp-4 33B（リリース準備中） ▪ LLM-jp-3 1.8B ▪ LLM-jp-3 3.7B ▪ LLM-jp-4 32B-A3B ▪ LLM-jp-3 7.2B ▪ LLM-jp-4 291B-A27B（学習中） ▪ LLM-jp-3 13B ▪ LLM-jp-3 172B (非OSS) MoE ▪ LLM-jp-3 8x1.8B ▪ LLM-jp-3 8x13B ◦ MoE 赤字はOpen Source AI Definition (OSAID) 準拠 （自称） ＝オープンソース AI 今日のトピック：オープンソース AIって何だっけ （という泥臭い話をします）
9. オープンソースの定義 • The Open Source Definition (OSD) ◦ 一般に広く許容されたオープンソースの定義 ◦ The Open Source Initiative (OSI) が策定・公表 ◦ 10の条件 により構成 ▪ ◦ 1. 再頒布の自由 2. ソースコード 3. 派生ソフトウェア 4. 作者のソースコードの完全性 5. 個人やグループに対する差別の禁止 6. 利用する分野に対する差別の禁止 7. ライセンスの分配 8. 特定製品でのみ有効なライセンスの禁止 9. 他のソフトウェアを制限するライセンスの禁止 10. ライセンスは技術中立的でなければならない これらの基準を全て満たすライセンス体系を所謂 OSSライセンスと呼んでいる ▪ OSIはライセンス認定作業も行っている OSD（Open Source Group Japanによる和訳）https://opensource.jp/osd/osd19/
10. 「オープンソース」という言葉の氾濫 • 用語 "open source" は "free software" からの派生で1998年に誕生 OSDという明確な定義を伴う概念 • • 語構成が非常に一般的、異なる意味で言及されやすい ◦ OSIがopen sourceの商標登録を企図したが "too descriptive"という理由で失効 ◦ 米国ではopen sourceという用語を業務に関して独占できない → OSDを強制できない Metaの事例 ◦ Llamaの公開形態などについて、なにかに付けて "open source" と公式に発表 ▪ The Linux Foundation管轄下で大々的に "open source AI" という語を使用 • レポート（※）では "There is an ongoing debate about the definition of OSAI." と自身による 定義を避けながら用語としては利用するなど、説明責任的に問題 ◦ 元々のopen sourceの立場からは、いわゆる "open washing" の代表例 だと批判 "The Economic and Workforce Impacts of Open Source AI" https://www.linuxfoundation.org/hubfs/Research%20Reports/lfr_marketimpacts25_052725a.pdf
11. オープンソースでないAI用ポリシー: Llama • Llama Community License Agreement/Acceptable Use Policy (Meta) ◦ Meta社に有利な広範・不明瞭な制限事項 が存在 ▪ 譲渡不可能な契約 … OSD 第1条に不適合 • ▪ アクティブユーザ制限（ 7億MAUまで） … OSD 第5条に不適合 • ▪ 通常の2者間契約としては一般的な文面 MAUの測定方法も不明瞭（グループ企業が導入した場合どうなる？） Acceptable Use Policyによる利用制限 … OSD 第6条に不適合 • 「正しい利用法」とは何なのか？ ◦ ◦ という問題 実際の運用は Metaによる解釈の入る余地があり、公平性に問題 ▪ いつでも変更可能な内容 … OSD 第7条に不適合 ▪ 派生物へのブランド表示の強制 … OSD 第8条に不適合 Llama製品群を OSSであると判断する妥当な理由はない ▪ OSSとして取扱うことで法務リスクを踏み抜く可能性大 License (Llama4): https://www.llama.com/llama4/license/ バージョンごとに異なるライセンスが存在（ Llama3.3ならURLのllama4をllama3_3に変更） 参照元：https://shujisado.com/2025/01/15/llama_is_not_opensource/
12. AI（機械学習）と従来のオープンソース • オープンソースの条件 「誰でも自由に使用・研究・改変・再配布が可能」 • ◦ これを「 4つの自由」と言います ◦ 従来のソフトウェアでは、ソースコードが提供されていればこの目的を達成できた AI（機械学習）の場合はどうか？ ◦ たとえば「機械学習モデルを解釈実行するシステム」を OSSライセンスで提供すれば 「OSSのAIである」と言えるか？ ◦ • ▪ 「推論システムが OSSである」は言える。 ▪ しかし「ソフトウェアの本質的な部分」を OSSの理念で公開している、と言えるだろうか？ ⇨ NO 実行する仕組みだけではオープンソースの目的を果たせない 。 「このAIはオープンソースである」と言うために必要な要素は何か？
13. AIがオープンソースであるということ • 機械学習では、実行するための仕組み（エンジン）とは別に、 実行時の動作を定義するパラメータ が存在 • 最低でもエンジンとパラメータの両方が利用できる形 で提供されなければ ユーザはシステムの動作を再現できない。 • この2点があれば十分？ ⇨ まだ不十分 現実的に AI内部の理解が困難 • 機械学習のパラメータ ≈ ほぼ無意味な記号の羅列 • ◦ パラメータから AIの動作を完全に理解するのは困難 ◦ そのパラメータがどのようにして得られたのか ◦ ⇨ パラメータが提供されたところで、実質的に挙動の分析に対して高いハードルが存在 をパラメータのみから知ることは不可能 パラメータよりむしろ「パラメータを得るための手順」 が共有される必要あり
14. The Open Source AI Definition (OSAID) (1) • The Open Source Definition (OSD)のAI版 ◦ ◦ 長い議論の末、 2024-10-28にv1.0が公開 策定者はOSDと同じThe Open Source Initiative (OSI) 参照元: https://opensource.org/blog/the-open-source-initiative-announces-the-release-of-the-industrys-first-open-source-ai-definition
15. The Open Source AI Definition (OSAID) (2) • OSAIDに合致するための条件 ◦ ◦ ◦ ◦ AIを学習するための 学習データに関する情報 の公開 ▪ 熟練者が実質的に同等のシステムを作成するのに十分な情報 • データそのものを自ら提供する必要なし • 無料である必要なし • データの完全性を担保するのは様々な理由で困難かつ、データそのものの些細な違いが AI の本質に大きく影響するとは考えられないため、条件がやや緩い AIを学習するための完全な手順 の公開 ▪ OSSライセンスで提供 ▪ 学習を再現できる完全な情報を公開する必要あり • 再現に影響する無形の知見の存在は許されない 推論のための完全な手順 の公開 ▪ OSSライセンスで提供 実際のパラメータ、 optimizer stateなど研究や改善に必要な情報 の公開 ▪ OSIが定める方法でアクセスできること（現実的には OSSライセンス）
16. OSAIDに合致するモデル • OSAIDはAIに対して非常に高いレベルの透明性を要求 ◦ Llama, Gemmaなどのプロプライエタリなモデルは当然合致せず ▪ ◦ • そもそもパラメータのライセンスからして OSDに合致せず、 OSSと呼ぶのは難しい Qwen, DeepSeekなどの「パラメータと推論部が OSSなだけのシステム」も合致せず ▪ 学習データがほとんど不明 ▪ 学習データ ＝ 企業秘密 というスタンスのモデルは基本的に OSAIDに合致し得ない OSAIDに合致すると思われるモデル ◦ 学術・オープンプロジェクトなどを中心に存在 ◦ OSIによる準拠判定 ▪ ◦ T5, Pythia, Amber/CrystalCoder, OLMo OSAID公開後の準拠志向モデル ▪ OLMo 2, LLM-jp-3, Marin, Comma, Apertus, OLMo 3, LLM-jp-4
17. OSAIDの実際 • OSAIDの諸条件と難しさ 学習手順の公開 推論手順の公開 問題なし OSSを使用・技術報告の公開 問題なし OSSライブラリに準拠 パラメータ公開 データセットの情報提供 問題なし OSSライセンスで公開 大問題
18. 学習データの調整の難しさ • OSAIDの要求：第三者が再現可能であること ◦ 「LLM-jpにだけ特別に提供します」というデータは OSAID準拠の観点では使用が困難 ▪ • • モデルの要求 ：データの使途に制限がないこと ◦ モデルをOSSライセンスで配布する際にケチが付かないこと ◦ Llamaモデル由来データ：明確に ライセンス汚染が発生、論外 ◦ 市販モデル由来データ：利用規約の伝播に合意のある法的見解がない。避けるのが無難 法律の要求 ：日本法への準拠 ◦ • 他の公的機関とのデータ連携で難航する要因 主に著作権法 30条の4・47条の5。日本独自の解釈を追加する必要がある。 市井の要求 ◦ 信頼への配慮 ：一般的な認識と乖離したデータ利用でないこと ▪ ◦ たとえば機械学習の扱い（著作権法では「情報解析」、一般にはよりハイリスクの認識） 規範性への配慮 ：LLM-jpの資料は第三者の参考資料として流用されることがある
19. LLM-jpのコーパス受入基準 • リリースレベル ◦ LLM-jpとしてのコーパスの利用基準 ◦ ライセンス基準・法的基準・規範的基準などを 5段階に集約 ◦ LLM-jpの内部的なトレーサビリティの指標として使用 ▪ 公式モデルの学習には L3以上しか使用しない、など 用途 制約 L1 学習/検索/配布 制限なし L2 学習/検索 再配布禁止 L3 学習のみ 再表示禁止 LX 不学習 公開モデルで使用禁止 LZ 不使用 使用禁止 ※学習に使うのは L1〜L3 のみ サブセットのリリースレベル管理
20. コーパス受入調査 • コーパスの利用可否（最終的にはリリースレベル判定）を行うため 個別に詳細なライセンス調査 を実施 • コーパス本体だけでなく ライセンス伝播の除外のため その来歴まで 調査 ◦ ◦ ◦ • ソースデータセット 適用モデルのライセンス これらの連鎖的な出自 有名なデータセットでも LLM-jp公式では使用不可能 というケースは多い OLMoのSFTデータの受入判定の例 （担当：児玉 調査中） →
21. データセットの再現 • ライセンス的にLLM-jpの基準を満たさないが モデル性能面で使用を検討する必要がある場合 →公開資料からLLM-jpが再現実験を実施 OSS版データを作成・ LLM-jpの資源として公開 MegaMath-Web Pro Maxの再現実験 （担当：清丸） 成果物は LLM-jp-4の学習に使用 →
22. コーパスアブレーション (1) • 学習中に各サブセットを 繰り返す回数 の決定 （担当：コーパスWG） ◦ ◦ ◦ • 多すぎ: 過学習 （コーパス丸覚え等が発生） 少なすぎ : 学習不足 （小規模・高品質コーパスで顕著） 小規模実験を回し、実際のパフォーマンスを確認しながら調整 実際の切り分け実験の例： サブ セット 候補パターン (濃い色＝繰り返し回数大) 22
23. コーパスアブレーション (2) • 一部実施要因計画法 による効果の測定 （担当：小田） ◦ ◦ ◦ • 適用したい設定を on/offの因子として定義 アルゴリズムで実験設定を決定、その設定で学習 結果を統合して各因子の有効性を検証 実際の受入試験: ◦ 5因子、Resolution IIIの計画 ▪ 実験回数は8回のみ ▪ 主効果のみの測定 平均の差分 (on - off) F検定のp-value 効果量 (Cohen's f) Setting C (Add MegaMath) のみ明確な正の効果あり 23
24. コーパスアブレーション (3) • 各指標ごとに挙動が異なるため、別々に効果量を測定 ◦ 総合的な結果を元に議論して設定を採用 ▪ このケースだと Factor Hは明確に不採用、他は要議論）
25. コーパスアブレーション (4) • より大きな例（LLM-jp-4-VLの検証・16サブセット） （担当：杉浦・小田） 余談： Pythonの実験計画ライブラリに正確な計画表を出力できるものがなかったので、独自にアルゴリズムを作成。 ビット列上の特殊なDPが必要で、競プロ的に多少歯ごたえのある問題だった。
26. 研究としてのオープンソースAI（＋若干の宣伝） • 論文＝オープンソース AIの最後の要素 ◦ ◦ • データセットの公開やライセンスでカバーできない詳細な技術情報を提供する手段 ▪ 上で紹介したデータセットアブレーションや、細かい技術的決定など LLM-jp-4のレポートを現在執筆中 ▪ 完成・公開まで暫くお待ちください。 オープンソース AIの研究リソースとしての相性の良さ ◦ ◦ 出自が完全に透明なので、どう煮ても焼いても問題を起こさない LLM-jpでは学習済みモデルのチェックポイントを数千個単位で保存しており、 学習中の挙動の解析なども可能 ▪ 最近これをやるワーキンググループを組織中。 興味のある方は是非一声下さい。