OpenMythosとは何者なのか

Transcript

1. OpenMythosとは何者なのか Mythosとの違いや、セキュリティリスクとなりうるか せぐふぉ 1
2. 目次 1. 「Mythos」とは何か 2. OpenMythos とは何か 3. 技術的な実体：RDT アーキテクチャ 4. 情報源：すべて公開論文由来 5. 「脅威」という主張を検証する 6. 事実① 完全な透明性 7. 事実② 現状のステータス 8. 事実③ アーキテクチャ研究の正当性 9. 結論 OpenMythosとは何者なのか What's OpenMythos 2
3. 「Mythos」とは何か Anthropic が 2026年4月7日に正式発表した、フロンティア AI モデル「Mythos」 （またはCapybara」 ） Opusを超える新たなモデルティアとして位置づけられた Anthropic 史上最強のモデルの立ち位置で す 2026年3月26日にメディア（Fortune）経由でリークされ、同年4月7日に正式発表されました Project Glasswing のもとで限定公開されており、一般・公開 API では利用できません 参加12社：AWS、Apple、Google、Microsoft、NVIDIA、Broadcom、Cisco、CrowdStrike、 JPMorganChase、Linux Foundation、Palo Alto Networks など + 40以上の追加組織 サイバーセキュリティ能力が突出：Firefox の脆弱性 271件を自律的に発見し、32ステップの企業ネ ットワーク攻撃シミュレーションを完遂しました（Anthropic 公式発表） アーキテクチャの内部実装詳細は非公開です → これが OpenMythos の出発点です OpenMythosとは何者なのか What's OpenMythos 3
4. OpenMythos とは何か 公開済み学術研究をもとに Mythos のアーキテクチャを推測・再現しようとするオープンソース LLM 項目 内容 名称 OpenMythos バージョン 0.5.0 alpha ライセンス MIT（完全オープンソース） 作者 Kye Gomez / The-Swarm-Corporation 配布 PyPI open-mythos 訓練データ FineWeb-Edu（公開データセット） GitHub 公開から数週間で 12,000以上のスター・約2,700フォーク ※ 重み（trained weights）は含みません。実行には別途大規模な訓練が必要です。 OpenMythosとは何者なのか What's OpenMythos 4
5. OpenMythosとは何か（続き） Anthropic は「一般公開に向けたサイバーセキュリティ上のセーフガードが整うまで Mythos (Capybara) を公開しない」と説明しています。$1億相当のクレジットを Glasswing 参加組織に提供 しました。 本スライドで言及する OpenMythos は「Mythos(Capybara)はおそらくこういうアーキテクチャで はないか」という考察を、公開論文のみを用いて実証しようとするオープンソース PoCです。 つまり、OpenSource LLMにおいても、Mythosと同様のアーキテクチャを採用できる未来が近いと考え られます。 ローカルでも思考トークンに塗りつぶされない、とても賢いLLMが作られる可能性があります（省メモ リ！） RDTは同じブロックを使い回すので、レイヤーを重ねる通常のTransformerより重み自体が少ないです。 OpenMythosとは何者なのか What's OpenMythos 5
6. 技術的な実体：RDT アーキテクチャ Recurrent-Depth Transformer（RDT）＝ループ型 Transformer 通常の Transformer がレイヤーを「積み重ねる」のに対し、 RDT は同じブロックを T 回繰り返すことで深い推論を実現します。 h_{t+1} = A·h_t + B·e + Transformer(h_t, e) h_t ：ループ t 回目の隠れ状態 e ：入力のエンコード（毎ループ注入） A , B ：学習済みパラメータ（スペクトル半径 < 1 で安定化） → 各ループ ≈ Chain-of-Thought の 1 ステップ（ただし潜在空間で実施） Mythos の特徴（新問題への高い推論力・事実記憶のムラ）が ループ型アーキテクチャの特性（記憶より合成が得意）と一致することが仮説の根拠です。 OpenMythosとは何者なのか What's OpenMythos 6
7. RDT の効率性：具体的な数値 Parcae論文（Prairie et al., 2026）より 770M パラメータのループ型モデルが、同じデータで学習した 1.3B 固定深度 Transformer と同等 の性能を発揮します。 つまり、約半分のパラメータ数で同じ品質を実現できます！ OpenMythosとは何者なのか What's OpenMythos 7
8. RDT の効率性：つづき これが意味すること モデルの重みファイルが小さくなり、ストレージ・VRAM ロードが軽くなります 推論時のメモリ効率が高くなります ただし学習時はループ数分のアクティベーションが積まれるため、トレードオフがあります - 重み（パラメータ） 学習時アクティベーション 固定深度 Transformer 多い 通常 RDT（ループ型） 少ない ループ数分増えます OpenMythosとは何者なのか What's OpenMythos 8
9. 通常のCoTと、RDTアーキテクチャの比較 通常のChain-of-Thought（言語空間） 推論ステップをトークンとして出力する必要があります 「まず〜を考えます。次に〜を…」という文字列を生成しながら考えます 生成したトークン分だけコンテキスト長が伸びます → KVキャッシュが膨れます ユーザーには思考過程が見えます RDTの潜在空間推論 トークンを一切出力せずに、隠れ状態 h_t を内部でループさせて「考えます」 外から見ると一回のフォワードパスの中で完結します コンテキスト長が増えません OpenMythosとは何者なのか What's OpenMythos 9
10. 従来のCoTとRDTアーキテクチャの比較表 CoT（言語空間） RDT（潜在空間） 推論の場所 トークン出力として外に出す 隠れ状態の内部ループ コンテキスト長 増える 増えない 計算量/トークン 少ない ループ数分だけ多い 柔軟性 固定 難易度に応じて可変 「同じ計算コストでより深く考えられる」あるいは「コンテキストを浪費せずに推論できる」というの が本質に近いと考えられます。 OpenMythosとは何者なのか What's OpenMythos 10
11. 情報源：すべて公開論文由来（コアアーキテクチャ） 技術 論文 公開された年 Recurrent-Depth Transformer Loop, Think, & Generalize 2025 LTI 安定化（Parcae） Scaling Laws for Stable Looped LMs (Prairie et al.) 2026 潜在推論の理論 Reasoning with Latent Thoughts (Saunshi et al.) 2025 ループ型 Transformer の先駆 Universal Transformers (Dehghani et al.) 2018 連続潜在空間推論 COCONUT 2024 Anthropic から情報を盗んだわけでも、重みがリークしたわけでもありません。 OpenMythosとは何者なのか What's OpenMythos 11
12. 情報源：すべて公開論文由来（コンポーネント） コンポーネント 論文 公開された年 MLA（KV キャッシュ 1/10 圧縮） DeepSeek-V2 2024 GQA（Grouped Query Attention） Ainslie et al. 2023 Mixture-of-Depths Attention MoDA 2025 Fine-grained MoE FFN DeepSeekMoE (Dai et al.) 2024 Depth-wise LoRA Relaxed Recursive Transformers (Bae et al.) 2024 ACT（早期終了） Graves 2016 RMSNorm Zhang & Sennrich 2019 RoPE（回転位置エンコーディング） Su et al. 2021 OpenMythosとは何者なのか What's OpenMythos 12
13. 「脅威」という主張を検証する 主張されうる脅威シナリオと、それに対する事実 主張 事実 「Claudeの内部を盗んだ」 全ソース公開、公開論文のみ参照しています 「安全対策を回避できる」 alpha版で性能は既存モデルに及びません 「機密アーキテクチャの漏洩」 理論的推測であり、Anthropic 公式情報ではありません 「悪用可能な強力なAI」 現状は研究目的の実験的実装・重みなしです 注意： Firefox 271件の脆弱性発見・32ステップ攻撃は OpenMythos ではなく Anthropic の Mythos Preview 本体の実績です（Anthropic 公式発表） 。 OpenMythos はその アーキテクチャ推測を試みる PoC に過ぎません。 OpenMythosとは何者なのか What's OpenMythos 13
14. 事実① 完全な透明性 OpenMythos は「隠すものが何もない」設計です ソースコード 100% 公開（GitHub） ライセンス：MIT（商用利用・改変・再配布 自由） PyPI で誰でもインストール・確認可能です 訓練スクリプト・ハイパーパラメータもすべて公開されています 「脅威」となる存在が自らのコードを全公開するとは考えにくいです。 むしろ、透明性こそがこのプロジェクトの本質です。 OpenMythosとは何者なのか What's OpenMythos 14
15. 事実② 現状のステータス OpenMythos はまだ「研究プロトタイプ」の段階です バージョン：0.5.0 alpha チェックポイントなしで実行すると意味不明な出力が返ります（ランダム初期化状態） 実用化には大規模な訓練が必要です（デフォルト目標：30B トークン） 既存の Claude や Mythos とはまったく別物：重みも訓練も共有していません OpenMythosとは何者なのか What's OpenMythos 15
16. 事実③ アーキテクチャ研究の正当性 既存モデルのアーキテクチャを推測・再現する研究は合法かつ正当です Google の論文から Facebook が実装 → Meta LLaMA OpenAI の GPT 論文から各社が独自実装 → 多数のオープンLLM DeepSeek が Transformer 改良を公開 → 各プロジェクトが採用 OpenMythos も同じ文脈にあります 公開情報を基にアーキテクチャを推測・実装する事はAI研究コミュニティの標準的な活動です。 OpenMythosとは何者なのか What's OpenMythos 16
17. 結論 OpenMythos は「セキュリティの脅威」か？ 現時点においては脅威になりえません。 以下の理由によります。 1. 情報源はすべて公開論文 — 機密漏洩・盗用ではありません 2. alpha 版・研究目的・重みなし — Mythos の代替にはなりません 3. アーキテクチャ研究は正当 — AI 研究の標準的プラクティスです OpenMythos は「Mythos のアーキテクチャを公開論文から理論的に推測・再現しようとするオー プンソース LLM」であり、 透明性の高い学術的プロジェクトです。 ただしAI/LLM全体の進化を見据えた、セキュリティ対応の体制面強化は必須であるとも考えています。 現時点においてOpenMythosは脅威ではないが、LLMの進化に取り残されると脅威となりうる ・・・かもしれません。 OpenMythosとは何者なのか What's OpenMythos 17
18. まとめ Claude Mythos = Anthropic が2026年4月7日に正式発表した実在の最強フロンティアモデル（Mythos またはCapybara、公開名称は未確定） Project Glasswing のもとで限定公開中。アーキテクチャ内部は非公開。 OpenMythos = その非公開アーキテクチャを公開論文から推測・再現しようとする MIT ライセンスの PoC LLM 脅威か？ = No — 透明性・合法性・研究目的の観点から根拠なし 一文でまとめると 「Mythosのアーキテクチャを公開論文だけで再現してみた」 やってみた系の動画と同じノリです。 つまりLLMの妥当な進化の過程と捉えるのが良いでしょう。 OpenMythosとは何者なのか What's OpenMythos 18
19. RDTアーキテクチャの展望 770Mパラメータで1.3Bと同等の性能が出るなら、今まで動かせなかったスペックのマシンでも、より賢 いモデルが動くようになる。 簡単な質問 → さっと答える（省電力） 難しい推論 → じっくりループして考える（高精度） という人間の思考に近い動的な計算がモデルレベルで実現できます。今のモデルって簡単な質問も難し い質問も同じ計算量なので、ここは結構な進化だと思います。 Mythosがその路線で本当に突出した性能を出しているなら、RDTという仮説の説得力もかなり上が ってきますし、オープンソース側に実装が広まるのは時間の問題だと考えています。 OpenMythosとは何者なのか What's OpenMythos 19
20. Appendix 20
21. 「Mythos」の主要ベンチマーク（参考） Anthropic 公式発表値（2026年4月） ベンチマーク Mythos Preview Opus 4.6（前世代最強） SWE-bench Verified（コーディング） 93.9% 80.8% SWE-bench Pro 77.8% 53.4% USAMO 2026（数学オリンピック） 97.6% 42.3% GPQA Diamond（大学院レベル科学） 94.6% 91.3% CyberGym（サイバーセキュリティ） 83.1% 66.6% Terminal-Bench 2.0 82.0% 65.4% OpenMythosとは何者なのか What's OpenMythos 21
22. LLMのVRAM見積もり入門 OpenMythosをローカルで動かすための前提知識 OpenMythosは重み（学習済みモデルデータ）がありません ローカルで動かすには、まずモデルの学習から始める必要があります そこで、ここでは「モデルの学習」に必要な前提知識をまとめます。 前提知識①：数値精度とバイト数 LLMの重みは 浮動小数点数 で保存されます。 精度によって1パラメータあたりのバイト数が変わります。 OpenMythosとは何者なのか What's OpenMythos 22
23. 前提知識①：数値精度とバイト数（つづき） 精度 ビット数 バイト数/パラメータ float32（FP32） 32bit 4バイト bfloat16（BF16） 16bit 2バイト int8（量子化） 8bit 1バイト int4（量子化） 4bit 0.5バイト OpenMythosはデフォルトで BF16 を使用しています。 OpenMythosとは何者なのか What's OpenMythos 23
24. 前提知識②：推論VRAMの計算式 推論VRAM ≈ パラメータ数 × 2バイト 具体例（BF16の場合） モデル規模 パラメータ数 推論VRAM目安 1Bモデル 10億 約 2GB 3Bモデル 30億 約 6GB 10Bモデル 100億 約 20GB 50Bモデル 500億 約 100GB OpenMythosとは何者なのか What's OpenMythos 24
25. 前提知識③：学習時はさらにVRAMが必要です 学習時は重み以外にも以下が必要です 種別 用途 重み（weights） モデルのパラメータ本体 勾配（gradients） 誤差逆伝播の計算 オプティマイザ状態 AdamWなら重みの2倍分 学習VRAM ≈ 推論VRAM × 3〜4倍 3Bモデルなら推論 6GB → 学習 約 18〜24GB OpenMythosとは何者なのか What's OpenMythos 25
26. OpenMythos バリアント一覧 バリアント 推論VRAM目安 学習VRAM目安 mythos_1b 約 2GB 約 8GB mythos_3b 約 6GB 約 24GB mythos_10b 約 20GB 約 80GB mythos_50b 約 100GB 約 400GB mythos_100b 約 200GB 約 800GB （現実的ではありません） OpenMythosとは何者なのか What's OpenMythos 26
27. Ryzen AI Max+ 395 では？ GPU割当可能メモリ：最大 112GB バリアント 推論 学習 備考 mythos_3b 可能 可能 まずここから mythos_10b 可能 可能 メインターゲット mythos_50b 困難 不可能 推論のみ mythos_100b以上 不可能 不可能 VRAM不足 推奨： 3bで動作確認し、10bで本格学習を実施してください。 OpenMythosとは何者なのか What's OpenMythos 27
28. 参考 https://github.com/kyegomez/OpenMythos https://capybara.com/ja （第三者のまとめ） https://openclawapi.org/ja/blog/2026-04-26-openmythos-getting-started OpenMythosとは何者なのか What's OpenMythos 28