Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
説明可能性と性能を両立させる深層学習の試み
Search
Henry Cui
October 23, 2021
Technology
0
200
説明可能性と性能を両立させる深層学習の試み
Henry Cui
October 23, 2021
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
210
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
410
レンズの下のLLM / LLM under the Lens
zchenry
0
190
Go with the Prompt Flow
zchenry
0
170
Mojo Dojo
zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
580
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
250
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
130
Other Decks in Technology
See All in Technology
シークレット管理だけじゃない!HashiCorp Vault でデータ暗号化をしよう / Beyond Secret Management! Let's Encrypt Data with HashiCorp Vault
nnstt1
3
140
クラウドセキュリティを支える技術と運用の最前線 / Cutting-edge Technologies and Operations Supporting Cloud Security
yuj1osm
2
260
なぜスクラムはこうなったのか?歴史が教えてくれたこと/Shall we explore the roots of Scrum
sanogemaru
1
400
なぜSaaSがMCPサーバーをサービス提供するのか?
sansantech
PRO
6
1.8k
RSCの時代にReactとフレームワークの境界を探る
uhyo
9
2.2k
ライブサービスゲームQAのパフォーマンス検証による品質改善の取り組み
gree_tech
PRO
0
440
実践アプリケーション設計 ①データモデルとドメインモデル
recruitengineers
PRO
5
1.4k
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
270
AWS環境のリソース調査を Claude Code で効率化 / aws investigate with cc devio2025
masahirokawahara
2
1.1k
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
100
Agile PBL at New Grads Trainings
kawaguti
PRO
1
120
Kiroと学ぶコンテキストエンジニアリング
oikon48
6
7.3k
Featured
See All Featured
Faster Mobile Websites
deanohume
309
31k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
How to Ace a Technical Interview
jacobian
279
23k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
Building Applications with DynamoDB
mza
96
6.6k
Producing Creativity
orderedlist
PRO
347
40k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
910
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
Transcript
説明可能性と性能を両立させる 深層学習の試み Henry Cui 機械学習の社会実装勉強会 2021年10月23日
自己紹介 ▪ 2017年 東京大学理学部情報科学科 学士 ▪ 2019年 同大学大学院情報理工学系研究科 修士 ▪ 現在 同研究科 博士課程 ▪ 研究テーマ
• 弱教師付き学習・能動学習・相対比較データ ▪ 趣味テーマ • 物体検出・説明可能性・因果推論 • 画像処理・音声処理一般 ▪ 更に趣味 • Ruby on Rails, React, NextJS 2
説明可能性 ▪ 機械学習モデルは意思決定に使う • 原料価格予測モデル → 入荷数量・タイミング • 人にまつわる予測モデル →
その人の人生に大きな影響の決定 • ... ▪ 予測出す同時に、説明も聞いて納得して判断下す 3 Statistical Modeling: The Two Cultures, Breiman, Statistical Science, 2001, Vol. 16, No. 3, 199–231
事後局所近似で説明 ▪ 既知 • 深層モデルは性能が良いが、 説明できない • 線形モデルは性能が悪いが、 説明しやすい ▪
両方のいいところを • 深層モデルで性能の良い予測 • 予測の近傍で線形モデルでわ かりやすく解釈 ▪ これでいいのか 4 "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Riberiro et al., ACM SIGKDD 2016
これではだめかも ▪ 代理モデルの説明が完全正解でしたら、元のモデルを代替で きるはず ▪ 性能と説明可能性が両立できないは迷信? 5 Stop explaining black
box machine learning models for high stakes decisions and use interpretable models instead, Rudin, Nat Mach Intell 1, 206–215 (2019)
次の方向 ▪ 両立した深層モデルを作りましょう ▪ 深層モデルが説明できる予測を出すためには • 線形モデルのように、特徴量の連結になる • 特徴量は説明できる •
連結も説明できる ▪ 初歩的に画像認識のタスクでのアイデア • 画像に写っているモノの分類タスク • 可視化できる特徴量による線形結合 ▪ モノのパーツを特徴量に ▪ 例:鳥の分類で、鳥の頭・足・翼のパッチ画像を特徴量に 6
内容 ▪ モチベーション ▪ ProtoPNet ▪ Concept Bottleneck Models 7
▪ NeurIPS 2019 ▪ 自然な論理過程に従ったモデルアーキテクチャを提案 8
モデルアーキテクチャ ▪ 明示的に3つに分けた構造 9
学習方法 1. Prototypes 及び 最終層以外の学習 • 従来の分類ロスに Prototype のためのロス 2.
Prototypes の更新 • Prototypes を可視化可能なパッチに更新 • 適切な仮定下で、この更新はモデルの予測に影響しない 3. 最終層の学習 • 凸最適化問題として解く • Sparsity の正規化でテスト時より自然な説明ができる 10
実験結果 ▪ 良い分類性能を保ちつつ、説明可能 11
内容 ▪ モチベーション ▪ ProtoPNet ▪ Concept Bottleneck Models 12
▪ ICML 2020 • https://slideslive.com/38928546/concept-bottleneck-models ▪ 説明可能 + 介入によるモデル変更可能 13
特徴 ▪ 学習時に concept ラベルが必要 ▪ Concept 層を介して二部のモデルに分ける • 学習時の順番を変えられる
▪ 高効率で高性能 14
▪ Concept に明らかな間違いがあるときに、結果修正 テスト時に介入できる 15
まとめ ▪ 説明可能性は大事 ▪ 局所近似による説明はおかしいかも ▪ 説明可能性と性能は両立できるかも ▪ 両立させた深層モデル •
ProtoNet・Concept Bottleneck Models 16