人工知能学会大会２０２３：AIにおけるトラスト

AIにおけるトラスト
中川裕志
理化学研究所・革新知能統合研究センター
JSAI2023 チュートリアル
2023年6月7日 15時～17時

View Slide

履歴書
• 1975年東京大学工学部卒業
• 1980年東京大学大学院卒業（工学博士）
• 1980～1999年横浜国立大学工学部
• 1999年～2018年東京大学情報基盤センター教授、
情報理工学系研究科数理情報学専攻兼担
• 2017年～現在理化学研究所・革新知能統合研究センター・チームリーダー
• 著書
• 機械学習工学講談社
• 教養としてのデータサイエンス講談社
• 裏側から視るAI 近代科学社
• 機械学習（東京大学工学教程）丸善
• 人間中心AI社会原則内閣府
• IEEE Ethically Aligned Design, First Edition,

View Slide

AIのトラストに係るEUの法制度

View Slide

EUにおけるAIトラストの系譜
1. European Commission HLEG : High-Level Expert Group on
Artificial Intelligence
Ethics Guidelines for Trustworthy AI (2018)
2. EU AI white paper (2020)
3. EU AI regulation acts (2021提案 2023改正案提案)

View Slide

外部
環境
認識
action
センサー
推論／
行動決定
アクチュエータ
AI
Environment内にい
る人間がAIをトラス
トできるかという
問題もEUの関心事
要素AIのトラスト
サプライチェーンを
経由するときに要素
AIがトラストできる
か
テスト
European Commission HLEG
Draft Ethics Guidelines for Trustworthy AI
におけるAIの定義

View Slide

Trustworthy AI
• Training Dataに恣意的なバイアスが入り込んでいない
• 倫理性
• 基本権：尊厳、自由、平等と連帯、市民の権利と公正
• 公益を最大化しながら、個人の権利と自由を保護する
• 法令遵守
• 人間中心＝常に人間が上位の決定権者
• Trustworthy AI
= 倫理性＋人間中心
＋技術的なトラスト（工学的ツールとしての信頼性が高いという意味）

View Slide

実質アジャイルなループなの
に
アジャイルと明言していない
EUはこの設計から実装の流れでAI
のトラストを実現するつもりだが，
アジャイルな考え方が不足気味
権利，
原則，
価値
Trustworthy
AI のための
要求
左の要求を
実現うるた
めの技術的，
非技術的な
方法
利用分析
展開設計
評価と
正当性付与

View Slide

評価でシステム
デザインや運用
を更新するのは
当然
デザイン更新は
AIが支援
環境・リスク分析
でゴール設定まで
変える
これはAIで行う

View Slide

• AIサービスは事前に徹底的なリスク予測を行うべ
き
• リスク発生の予測はAI技術に複雑さや発展の早さ
から技術的に抑えることは困難であることも意
識
• AIシステム製造のサプライチェーンの各段階で倫
理指針ないしは法制度に基づくリスク管理や公
平性，非差別性を徹底することを求めている
米国も中国産の基本ツールを念頭におき、サプライ
チェーンチェックをする方向。５G機器など。
9
EU AI白書2020

View Slide

• AIシステムがすべてのライフサイクルフェーズで
エラーや不整合に適切に対処できることを保証
する
• AIシステムの出力は、人間によって事前にレ
ビューおよび検証されていない限り、有効にな
らない
• 動作中のAIシステムの監視、およびリアルタイム
で介入して非アクティブ化する機能（人間によ
る）
• そのために，設計段階で、AIシステムに運用上の制約
を課す
10
ちょっと現実感が？？
ちょっと現実感が？？
AI規制規則に引き継がれている

View Slide

ARTIFICIAL INTELLIGENCE ACT
AI 法案
Brussels, 21.4.2021
“Proposal for a Regulation laying down harmonised rules on artificial intelligence”
URLは以下：
-artificial-intelligence>
AI Act: a step closer to the first rules on Artificial Intelligence
https://www.europarl.europa.eu/news/en/press-room/20230505IPR84904/ai-act-a-step-closer-to-the-first-rules-on-
artificial-intelligence
Trustworthy AI から
EU AI白書へ．
そしてその内容をいよいよ
法律化したように見える

View Slide

前文に書かれた目的
• 米国，中国などEU域外で進むAI技術に対する不信感
• EU加盟国は、人工知能が安全であり、基本的権利の義務に従って開発
および使用されることを保証するために、国内規則の採用をすでに検
討しているが，
• 国の規則が異なると、国内市場が細分化され、AIシステムを開発また
は使用する事業者が個別国の法律に振り回される
EU全体で一貫した高レベルの保護規則の確保
• オペレーターに統一された義務を課し、公益と国内市場全体の
人の権利を最優先する一様な保護規則が必要.

View Slide

◆公共の場での公的機関による生体（顔）認証，
◆サブリミナル
◆公的機関による社会的スコアリング，
◆性別，年齢，民族などでの差別
許容しない
高リスク
限定的リス
ク
最小のリスク
◆このカテゴリーがもっとも重要で影響大．
後で述べる
◆AIシステムの透明性が要求される
◆企業ごとの行動規範（code of
conduct）が要求される

View Slide

第5条で明記された禁止すべきAI
1. 一般にアクセス可能な空間における「リアルタイム」遠隔生体認証シス
テム；
2. 重大な犯罪の訴追のための法執行機関のみを例外とし、司法の許可を得
た後に行う「事後」遠隔生体認証システム；
3. 機密性の高い特性（性別、人種、民族、市民権、宗教、政治的指向な
ど）を利用したバイオメトリクス分類システム；
4. 予測的取り締まりシステム（プロファイリング、位置情報、過去の犯罪
行動などに基づく）；
5. 法執行機関、国境管理、職場、教育機関における感情認識システム。
6. 顔認識データベースを作成するために、ソーシャルメディアやCCTVの映
像から生体データを無差別にかき集める（人権とプライバシーの権利の
侵害）。

View Slide

高リスクAIのカテゴリーの内容
ANNEX III: High-Risk AI Systems
• １生体認証とそれによる分類（リアルタイムと事後）差別があって
はならない
• リアルタイムおよび「ポスト」リモート生体認証に使用することを目的としたAI
• 2.重要な生活インフラストラクチャの管理と運用
• 道路の管理と運用における安全設備として使用することを目的としたAI
• 交通と水、ガス、暖房、電気の供給のためのAI
• 3.教育と職業訓練へのアクセスの可否決定
• 教育および職業訓練機関へのアクセス可否の決定または自然な割り当ての目的で使用すること
を目的としたAIシステム
• 職業訓練機関および一般の教育機関への入学のためのテストの者を評価するためAI
• 4.採用における利用、人事評価，労働者管理，雇用と解雇
• 採用または選択、特に求人広告、アプリケーションのスクリーニングまたはフィルタリング
• 候補者の評価面接またはテストのためのAI
• 昇進と解雇の決定を行うために使用されるAI
• 契約関係、タスクの割り当て、パフォーマンスの監視と評価のために使われるAI
自動運転
か？

View Slide

• 5.不可欠な民間サービスおよび公共サービスへのアクセス適格性
評価順位付け
• 公的機関によって、または公的機関に代わって使用されることを目的としたAI
• 公的支援の給付とサービスに対する適格性を評価するAI
• そのような利益およびサービスを付与、削減、取り消し、または再請求するAI
• クレジットスコアを計算するAI
• 消防士や医療援助などの緊急性ある処理に対する優先順位を計算するために使用され
るAI
• 6.法執行機関が個人の状況に立ち入る
• 個人のリスクを高めるために法執行機関が使用することを目的としたAI
• 再犯または刑事犯罪の潜在的な犠牲者のリスクを評価するAI
• 法執行機関がポリグラフなど感情状態を検出するために使用するAI
• 法執行機関がディープフェイクを検出するために使用するAI
• 第52条（3）で透明性に関与するとして言及されている

View Slide

• 7.移住、庇護および国境管理での利用
• 公的機関がポリグラフや感情状態を検出するためとして使用することを目的としたAI
• 公的機関がセキュリティリスク、不法移民のリスク、または健康リスクを含み、加盟国の
領土に入ろうとする、または入国した人を検査，検証するAI
• 渡航文書の信憑性と裏付けとなる文書セキュリティ機能をチェックすることにより、本物
ではないドキュメントを検出するAI
• 公的機関による審査を支援することを目的としたAI
• 庇護、ビザ、居住許可の申請および関連する苦情ステータスを申請する人の適格性を審査
するAI
• 8.司法当局が事実を調査および解釈するのを支援するAI

View Slide

高リスクAIをEU市場に売り出す，あるいは実利用
する前にやならけばならないこと
• ここが本AI規制規則におけるEUの本音．
• 以下の各者ごとに，細かい指示がたくさんだされている．
• 製造業者，
• 配布業者,
• サービス事業開発者（provider)，
• 事業者代表，
• 公的ユーザ（個人的に利用するだけのユーザは除く）
EU域外国の業者にも適用される

View Slide

高リスクAIの開発，運用で守ること
• AIシステムの全利用期間におけるリスク管理システム：9条
• データガバナンス：バイアスなし，エラーなし，十分な代表性：10条
• 技術文書の作成：11条
• 利用状況レコードの保存する機能：12条
• ユーザへの内容説明（精度など）と適切な指示，人間が監視する規則の整備：13条
• 人間が監視する出力の限界値，精度．緊急停止ボタンの設置，監視は2名以上で確認
するなど：14条
• 継続的に学習するAIの精度，技術的ロバストさ，サイバーセキュリティの確保，敵対
的標本データの不使用：15条

View Slide

CE marking
• 高リスクAIの守るべき事を宣言し，CE markingとして貼付する：49条
• 配布者はCE markingを確認する：27条
• CE markingは、製造業者または輸入業者が、欧州経済領域（EEA）内で販売される製品の
欧州の健康、安全、および環境保護基準への準拠を確認するための管理上のマーキング
• 品質指標や認証マークではない
• CE markingは、EEA規格に準拠して製造されたEEA外で販売された製品にも付ける
• 米国で特定の電子機器を販売するために使用されるFCC適合宣言のようなもの
• CE markingは、製品が健康、安全、および環境保護に関するEU基準を満たしているとい
うメーカーの宣言
• 製品が原産国に関係なく、欧州経済領域のどの部分でも自由に販売できることを示す

View Slide

高リスクAIが実用に供された後
• マズいことが起きたとき，即時に必要な訂正を行動をとる：21条
• 高リスクAIに関するEUのデータベースへの登録：60条
• 市販後の動作のモニタリングと稼働状況レコードの保持：61条
• インシデント報告義務：62条
• （利用規制）違反及びデータガバナンス要件に対する違反の場合は、三千万ユーロ又は全世界
の年間総売上の6%が上限の制裁金：71条
• その他の違反の場合は、二千万ユーロ又は全世界の年間総売上の4%が上限の制裁金：71条

View Slide

生成AIについての規則
• コンテンツがAIによって生成されたことを開示
• 違法なコンテンツを生成しないようにモデルを設計し
• 学習に使用した著作権データの要約を公開
• など、追加の透明性要件に準拠する必要があり

View Slide

メンタリティ
• EUの人々のメンタリティ
法律がない状況での技術利用なんて考えられない
• 米国の人々のメンタリティ
技術を社会応用して，問題があれば裁判，そして法制度化

View Slide

AIのトラスト

View Slide

AIが人間より高い能力を持ち、人間にとっての脅威になるとい
うような危惧から発展してきたAIのELSIとりわけAI倫理
根拠が薄弱
今のELSI
ロボット、ヒューマンインタフェース、メタバースにおけ
るアバター、ChatGPTなど、AIが人間と共存する社会にお
けるリアルな問題を考える
トラスト
人間がAIをトラストできるのか、だけではなくAIが人間をト
ラストできるのか？
ID認証だけでトラストは実現できない

View Slide

トラスト研究の大雑把なおさらい
ビジネスモデルのトラスト
• 具体的なトラストの在り様を、企業が個人のトラストを得るに
は、企業の行動が個人にとって十分に予測可能であることが重
要
• ブラブラカー（予約乗り合い自動車）
• ドタキャンだらけでうまくいかなかった
前払いのオンライン決済でトラスト不足を乗り越えた。
ＴＲＵＳＴ（トラスト）―世界最先端の企業はいかに“信頼”を攻
略したか
ボッツマン，レイチェル【著】〈Ｂｏｔｓｍａｎ，Ｒａｃｈｅｌ〉/
関美和【訳】日経ＢＰ（2018/07発売）

View Slide

ビジネスモデルのトラスト
• 新しいサービスは自分が良く知っているサービスに類似してい
ることも予測可能性を高めるのでトラストを生み出す。
• たとえば、エアビーアンドビーは、ロンドン在住の人がニュー
ヨークに旅行するときの宿泊先を紹介するために、ニューヨー
クの宿泊先がロンドンのどのような宿泊先に似ているかを提示
して、成功

View Slide

人間とAIエージェントの間のトラスト
• JST-CDRS: 俯瞰セミナー＆ワークショップ報告書：トラスト研究の潮流～人文・
社会科学から人工知能、医療まで～. 2022年2月 CRDS-FY2021-WR-05 山田 p.82-
90 (https://www.jst.go.jp/crds/pdf/2021/WR/CRDS-FY2021-WR-05.pdf)
重要な3要素
1. AIデザイン
2. AIと人間の間で授受される情報のデザイン
3. 人間とAIの関係のデザイン
デザインの良さの評価方法
• AIに対するトラストをAIの性能に対する人間の主観的期待値の大
きさ

View Slide

人間とAIエージェントの間のトラスト
•山岸の言説による他者への信頼をAIへの信頼と置き換えた構造
であると山田は主張
•[山岸俊男：安心社会から信頼社会へ. 中央公論社.(1999)]
•人間とマシンが共存する世界例えば、自動運転車と人間が運
転する車が共存する世界
•自動運転車が乗っている人間からトラストされるために自動運
転車を悪意の攻撃から守る設計が重要
•Anderson(2021)

View Slide

マシン対マシンのトラスト
• セキュリティの文脈でのトラスト
• 従来のトラストは外界の攻撃からシステムを守る防火壁を強化
する方向
• 攻撃は巧妙化し、防火壁では守り切れない、信頼できない
• ゼロトラスト
• ユーザー、使用するデバイス、アプリケーション全てに対し、リソー
スへのアクセス時に常にVerify（Always Verify）を実行
• このときには外部の信頼できる認証局を使った認証プロセス
• リモート・アテステーション：ネットワーク経由でつながっている相
手が期待通りのVerifyの仕組みを持っているかをチェック。電子署名が
使われる。
• 2022年2月 CRDS-FY2021-WR-05 p.65-72 松本

View Slide

トラストの強さの測定方法
•トラストを個人的な感覚の表現で測定することだけでは、大規
模な場合への適用には客観性を欠く
•トラストする/しないの２項対立で表現
•粗い
•連続値を使う
•Aさんが「BさんがXをYという状況で行う」と予測する確率
•この確率を種々の状況Yで評価し、場合によっては平均化する
方法

View Slide

AIに対するネガティブな先入観
•ロボットやAIを見たときに拒否反応を示すようなネガティブ
な先入観を持っている一般人は数多い。
•このネガティブなバイアスは、AIが客観的に見て高い性能を
持っているにもかかわらず、
•主観的な評価であるトラストはAIでは過小に評価
•個々人のパーソナリティーが影響している。

View Slide

AIに対するネガティブな先入観
•Stein(2020)は、複雑かつ高い能力、人間に近い表示をもっている
AIに対する気持ち悪さとトラストの関係を西欧において調査
•人間に近い表示形態の場合、不気味の谷という気持ち悪さが強い。
•表示形態は精巧でなくても、高い能力を示すAI
 人間がその能力を知り始めると、その存在を見直す傾向が表
れる。
 ただし、人間とAIの友だち関係までは進展しない。
•AIとの友だち関係や親近感を持ちやすい日本人のメンタリティとの
差がある

View Slide

AIエージェント，
自律的アバターのトラスト

View Slide

用語定義
• エンティティ：対象になる人間とソフトやAIのことを
合わせてエンティティと呼ぶ。
• 本人と本体：あるエンティティXが呼称Yで参照された
とき、Xが人間の場合、呼称Yの本人、ソフトやAIの場
合、呼称Yの本体と呼ぶ。
• アイデンティ：エンティティX本人あるいは本体を同定
できる情報をアイデンティ（ID）と呼ぶ。
• ID認証：呼称YからエンティティXのIDを確認すること
をID認証と呼ぶ。

View Slide

用語定義
•IｄP：あるエンティティからの別のエンティティのID認証を要
求されたときID認証を行うシステムをIdP(アイデンティティプ
ロバイダー)と呼ぶ。IdPはエンティティXに関するID認証がで
きればXの認証情報を発行する。
• 仮名や匿名の相手をトラスト：仮名とはBにつけた仮の名前で
あり、呼称bの一種と考えられる。ID認証には仮名とBの対応表
あるいは対応付けの方法が必要になる。あるいはすでに仮名が
ID認証されたことを探し出すなど。
• 匿名のエンティティに対するトラスト：実現がより複雑。す
なわち呼称がない、あるいは呼称があっても対応表がない。
よって、エンティティの行動パタンなどの情報を収集して匿名
のエンティティのIDを認証する必要がある。

View Slide

登場するエンティティ
• 本人
• 本人の代理のAIエージェントやアバター：本体
• インターネット越しの他者エンティティ
• 人間かAIエージェント，アバター

View Slide

トラスト
トラスト
本人
事業者
Internet
従来のトラスト

View Slide

トラスト
本人
AIエージェ
ント、CA
他者エンティティ
インター
ネット
トラスト
トラスト
トラスト
他者エンティティ、AIエージェントやCA、本人
の間のトラスト

View Slide

推論、
計画、
動機、
感情、
記憶
AIシステム
による学習
データ収集
電子メール，SNS，購買履歴，行動
履歴，購読したeBook、銀行口座の
扱い，購買や契約など
他のエンティ
ティ
自然言語処理
システム
本人の要請などによる
双方向のやりとり
本人
CAの外見
CA 本体
本人のAIエージェント（AIG)や
自律的サイバネティック・アバター（CA)の構造

View Slide

トラスト
本人
AIエージェ
ント、CA
インター
ネット
トラスト
トラスト
トラスト
自己イメージコントロール権１００％保護してよいか？
本人の認証があれば、化粧しているだけと思ってはマズ
いのか？
でも警察官などを装ったらどうなのか？

View Slide

トラスト
本人
CAたち
他者
インター
ネット
トラスト
トラスト
本当の顔がバレた場合の問題
平安時代からの問題
末摘花問題

View Slide

 ディジタルアイデンティティー
 エンティティ認証：FIDO 2.0
 ID連携認証：OpenID Connect
1.0
 アクセス認証：OAuth 2.0
 SSI
 個人（この場合はCA）がIdPとし
て個人認証を行う
 できるだけ少ない情報で個人認
証させる思想．
崎村夏彦著：デジタルアイ
デンティー参照
匿名、仮名CAだと、そのCAの背後の操作者が分からな
い。CA自体をアイデンティティ認証する必要
トラスト
認証サーバ：IdP(Identity Provider)
IdP
他者エンティティ AIエージェント、CA
トラスト

View Slide

 サービス利用契約：法的かつ形式的なトラスト
 個人データの利用法：目的の定義（広すぎるとトラストしに
くい），第3者移転の有無
 これらをチェックできる能力がAI エージェントに欲しい
が．．．
 認証
 組織としてのディジタル認証がインターネット経由で行える
 認証機関（政府，etc)
トラスト
事業者 AIエージェント CA

View Slide

 個人がCAを使うとき、CAが行う本人認証の問題
 （パスワードや生体認証）による i.e. FIDO2.0
 ログインするときには正しい利用者しか知らない鍵を用いる2段階認証が
効果的だが．．．
 スマホなどがなりすまし人に乗っ取られることは常に起きうる問題
 CAが乗っ取られたことを他者が認識できればよいのだが
トラスト
AIエージェ
ント、CA 本人
なりすまし
or
なりすまし
spoofing

View Slide

 CAが乗っ取られたことを他者が認識できればよいのだが
 実はこの部分は困難．
 いつもと違う行動をしているので「なりすましかも？」
 しかし、本人の気が変わることもある
 AI技術のさらなる進展、応用が待たれる。
トラスト
AIエージェ
ント、CA 本人
なりすまし
or
なりすまし
spoofing

View Slide

CAの開発，販売会社との利用契約
CAがPFの個別ユーザーインタフェースである場合は利用契約が
さらに重要
CAがマルウェアに乗っ取られる問題
本人が気が付けるか？
本人の意思と離れた行動をしてしまうかもしれない
自己イメージがコントロールできない状態
トラスト
AIエージェ
ント、CA
本人
乗っ取り

View Slide

乗っ取られたCAが本人になりすまして、本人の思惑と違う行
動をした場合
このような行動を本人が遅滞なく認識できるか？
CAを監視するAIがスマホやPC内に必要かもしれない．
技術課題は何か？
CA監視AI自体が乗っ取られる
トラスト
AIエージェ
ント、CA
本人
監視AI

View Slide

 CA開発管理企業が監視AIを使って全CAを監視し続けられる
か？
 動作停止させることはできるが，既に行った行動（例えば，第3
者との契約）を廃棄できるかという法的問題を解決しておく必要
がある．
 CAの行為に対するの免責事項を予め決めておくこと契約
トラスト
AIエージェ
ント、CA
本人
監視AI
CAの開発、管理事
業者が全CAを監視
し続ける
本人
本人

View Slide

本人たち
家族、同じ組織の構成
員など
トラスト
AIエージェ
ント、CA
他者
インター
ネット
トラスト
トラスト
トラスト

View Slide

AIエージェ
ント, CA
internet
トラスト
トラスト
同じ会社の社員たち
悪意の
部外者
トラスト

View Slide

司令塔本体
本体１本体ｎ
…
本人
多数のCAを本人1人で操るのは不可能
複数の本体を管理、監督する司令塔本体が必要

View Slide

もっとCAが増えると、階層構造を作って、直下のCAを管
理監督
本人にはもう全体が分からない
自律的なCA
本体r
本体p
本体n
本体１本体m
本体q
… …
…
… … …
本人
司令塔本体
本体１本体ｎ
…
本人

View Slide

自律的なCAである本体たちの一部と本人がインタラクションする
人間が作る組織とのインタラクションと大差なくなる
本人たちと本体たちが同じ位置づけでやり取りする構造
Latourのアクターネットワーク
本体r
本体p
本体n
本体１本体m
本体q
本人
本人

View Slide

推論、
計画、
動機、
感情、
記憶
AIシステム
による学習
データ収集
電子メール，SNS，購買履歴，行
動履歴，購読したeBook、銀行口
座の扱い，購買や契約など
他のエンティ
ティ
自然言語処理
システム
本人
CAの外見
CA 本体
サイバネティック・アバターの構造
本人死後

View Slide

トラスト
他者エンティティ CA
トラスト
匿名、仮名CAだと、そのCAの背後の操作者が不明
CA自体をアイデンティティ認証に頼る
CAと他者エンティティのインタフェースは本人の死んで
も、CAが本人の死を認識しない限り変わらない
本人のいないzombie CAはなりすましや乗っ取りの餌食
になりやすい
他者エンティティも被害者になりえる
zombie CA

View Slide

CAに永続性はない
•CAに会いに来る人もだんだんと減ってしまい
社会的に消滅しそう
•CAは若干の変容を遂げつつも物理的には存在し続
けると想定してきた．
•しかし，この想定が成り立たないことも十分にありえる．

View Slide

CAに永続性はない
• CAを管理し運用している事業者はCAの永久保存を確約
できないとし，存続期間として例えば20年を提示すると
いう調査結果Basset[10]
• CAの管理会社における不慮に事故，経営方針の変更，
管理会社の倒産などによってCAが消滅する可能性は常
に存在

View Slide

著作権
• 故人がCAの著作権者
• 著作人格権は一身専属性  本人の死後，相続人，CA開発な
いし運用事業者などの他人が引き継げない．
• その結果，著作人格権の一部である改変を許さない権利すなわ
ち同一性保持権が存続する．
•  自律したCAが外部環境とのやり取りで学習しプログラムが
変更されるという改変はできなくなってしまう．

View Slide

著作権
• 本人とCA開発・運用事業者の共同著作権としても，著作権の執
行には，共同著作者全員の賛同が必要なので，この事情は同じ．
ただし，プログラムにおける同一性保持権の制約は緩和される
可能性がある．この緩和をCAにどこまで適用できるかは今後の
司法判断の動向によることになる．

View Slide

View Slide

人工知能学会大会２０２３：AIにおけるトラスト

人工知能学会大会２０２３：AIにおけるトラスト

中川裕志

More Decks by 中川裕志

Other Decks in Technology

Featured

Transcript