【AIニュース】Anthropic が METR に社員並みのアクセスを渡した理由

Transcript

1. AIニュース（2026年10月） Anthropic が METR に 社員並みのアクセスを渡した理由 第三者がAIを評価する仕組み 赤神 青空
2. ▪2026年10月15日、Anthropic 何が発表されたか が外の評価機関との取り組みを発表 METR に、社員並みのアクセス Anthropic （AIを作る会社） METR の6⼈ （評価する団体） 2026年10⽉15⽇、公式ブログで発表 An update on independent evaluators METR は AI を評価する⾮営利団体 今ココ 概要 ほかの機関 SecureBio Accenture Faculty Hugging Face 2/13
3. ▪公開できない情報を、外の人が代わりに確かめる なぜ会社の外の評価が要るのか 全部は公開できない 安全性にかかわる情報のうち… 悪⽤されるおそれがある 情報 商業上の秘密 （計算資源や学習の情報など） 今ココ 第三者評価 外の評価者が中を⾒る 社内の情報 外の評価者が深く⾒る 根拠と結論を公表 3/13
4. ▪Anthropic評価者に求める4つの条件 が記事で挙げている条件 専⾨性 独⽴性 ⼗分なアクセス 公表の⾃由 最先端のモデルの能⼒を 評価する専⾨の知識がある リスクを評価できるだけの 情報を⾒られる 今ココ 第三者評価 評価する会社の株を持たない お⾦や運営で頼っていない 評価した結果を 外に向けて出せる 4/13
5. ▪評価者へのアクセスを、Anthropic 見せる範囲は3段階 は3段階で整えている 段階 ⾒せる範囲 公表 範囲を絞った調査 何を⾒せるかは Anthropic が選ぶ Anthropic の承認が要る 2段階⽬ 1段階⽬より多くの情報 承認なしで公表できる 決めた種類の墨消しは求められる 墨消しが妥当だったかも書ける 3段階⽬ 社員並みのアクセス （今回の METR） 2段階⽬と同じような扱い 1段階⽬ 今ココ 第三者評価 5/13
6. ▪会社の機器・席・社内のツールまで 見せる範囲：社員並み METR の6⼈に渡したもの 会社の機器 オフィスの席 社内のツールと システム 範囲 Anthropic ⾃⾝のリスク評価チームと、ほぼ同じ 社員の側 METR の⼈へ情報を共有するよう勧めている ただし、決めた種類の情報は除く（次のページ） 今ココ 今回の新しさ 6/13
7. ▪除外する情報と、METR 見せない範囲 の中での切り離し 除外する情報（例） 顧客のデータ 弁護⼠と依頼者の 秘匿特権がある情報 モデルの構造 （アーキテクチャ） モデルの構造 漏れるおそれが⼤きく、評価との関係は薄いことが多い 関係が深いときは、原則として共有を⽬指す（社内の明⽰的な承認が要る） 切り離し METR のほかの社員は、この6⼈の仕事から切り離す 別の案件で Anthropic と組んでいる研究者も含む 今ココ 今回の新しさ 7/13
8. ▪止めることはできず、求められるのは墨消しだけ 公表の扱い 公表するもの リスクの⽔準‧インシデント‧やり⽅についての分析 ⽌められない Anthropic は、METR の公表を差し⽌められない 墨消し 求められるのは、あらかじめ決めた種類の情報の墨消し。 例：機密の知的財産。どれに当たるかは Anthropic が決める アクセスの程度 METR は、受けたアクセスや情報の程度について⼀定の発⾔ができる 今ココ 今回の新しさ 8/13
9. ▪METR のほかにも、関わり方の違う相手がいる ほかの評価機関との関係 SecureBio 8⽉のリスク報告書の、化学‧⽣物兵器の章をレビュー中 その前の報告書で、試しのレビューを済ませている Accenture‧Faculty ⼤きな提携に向けて進めている。モデルの評価とレッドチーム、 アラインメントの評価、安全対策のテスト、組織の能⼒づくり Hugging Face など まだ初期の協議の段階 今ココ ほかの機関 9/13
10. ▪AI の安全性の説明を、どう読むか 視聴者にとっての意味 読むときの観点 誰が評価したのか どこまで⾒られて、結果を公表できるのか 並べて読む METR の分析が出たら 会社⾃⾝の評価と並べて読める 書かれていない 対象のモデル名 始めた⽇と、いつまで続くのか 今ココ 意味 10/13
11. ▪見せる範囲・見せない範囲・公表の3つ まとめ METR の6⼈に、社員並みのアクセス ⾒せる範囲 顧客のデータ‧秘匿特権のある情報‧モデルの構造などは除く ⾒せない範囲 Anthropic は公表を⽌められず、求められるのは墨消しだけ 公表 範囲は、Anthropic ⾃⾝のリスク評価チームとほぼ同じ モデルの構造も、関係が深いときは承認を経て共有を⽬指す 墨消しの対象は、あらかじめ決めた種類の情報（機密の知的財産など） 今ココ まとめ 11/13
12. ▪一度止めて考えてみてください。答えは次のページで 今回のクイズ METR が分析を公表するとき、Anthropic ができることとして記事に書かれてい るのはどれ？ A 公表を差し止める 今ココ まとめ B 公表の前に承認する C 決めた種類の墨消し D 何も求められない 12/13
13. ▪決めた種類の墨消し クイズの答えは「C」 今回のクイズ METR が分析を公表するとき、 Anthropic ができることとして 記事に書かれているのはどれ？ Anthropic は公表を差し⽌められない。 求められるのは、あらかじめ決めた 種類の情報の墨消しだけ 答えは C 今ココ まとめ A 公表を差し⽌める Anthropic は差し⽌められない B 公表の前に承認する 承認が要るのは1段階⽬の評価 C 決めた種類の墨消し 決めた種類の墨消しだけ（例：機密の知的財産） D 何も求められない 決めた種類の墨消しは求められる 13/13