すべての機械学習は情報圧縮である

自分の卒論を分野外の人に発表するという会で話したスライドです

Transcript

1. 今からこんな話をします ChatGPT zipファイル
2. 今からこんな話をします ChatGPT zipファイル ＝ この2つは 実は同じもの
3. すべての機械学習は 情報圧縮である
4. もくじ うちの研究室（甲藤研究室）の紹介 データ圧縮の基礎 生成モデルと圧縮 情報論的学習理論 Transformerは情報圧縮機である？ 自分の卒論の話
5. うちの研究室（甲藤研）の紹介 • マルチメディア通信の研究室 • 画像・動画・点群を処理し、通信路に載せるところまでをやる • 具体的にはコンピュータビジョン、5G、誤り補正、符号化… • 研究テーマの一つがメディアの圧縮・符号化 • 画像だとJPEG、映像だとMPEG-4 など • うちの教授はMPEGの標準化会議メンバー  他のコンピュータビジョンタスクと同様、 圧縮も最近は深層学習ベースが強い →
6. データ圧縮の基礎：よい圧縮とは何か？    シャノンの情報源符号化定理より、データ列𝑋 = {𝑥𝑖 }の圧縮の下限ビット長は その平均エントロピーに等しい 情報量 エントロピー 𝐻𝑝 𝑋 = 𝔼[𝐼 𝑋 ] = 𝔼[−log 𝑝 𝑋 ] 𝐼 𝑥 = −log 𝑝(𝑥)
7. データ圧縮の基礎：よい圧縮とは何か？      𝐻 𝑝, 𝑞 = 𝐻𝑝 𝑋 + 𝐷𝐾𝐿 (𝑝||𝑞) 定義(交差エントロピー)
8. 生成モデルと圧縮  
9.   生成モデルと圧縮 真の分布 𝑝(𝑥) に従うデータサンプルから、 𝑝(𝑥) にできるだけ近い分布 𝑞(𝑥) をモデリングする 生成モデルの解く問題
10. 生成モデルと圧縮    真の分布 𝑝(𝑥) に従うデータサンプルから、 𝑝(𝑥) にできるだけ近い分布 𝑞(𝑥) をモデリングする 生成モデルの解く問題 真の分布 𝑝(𝑥) と、再現分布 𝑞(𝑥) のKLダイバージェンスを最小化する* 生成モデルが究極的に解く問題
11. 生成モデルと圧縮  「生成モデルは圧縮である」ということを 実証した論文もある  Language Modeling is Compression  Googleが去年発表した論文  大規模言語モデル (ChatGPTみたいなもの) の 内部の確率分布をつかってデータ圧縮をする  テキストを生データの10%以下に圧縮でき、 なぜか画像や動画まで高効率で圧縮できる [1]G. Deletang et al., “Language Modeling Is Compression,” 2024. [Online]. Available: https://openreview.net/forum?id=jznbgiynus
12. 情報論的学習理論     
13. Transformerは情報圧縮機である？     
14. Transformerは情報圧縮機である？    
15. Transformerは情報圧縮機である？    
16. Transformerは情報圧縮機である？     
17. 自分の卒論の話  
18. 自分の卒論の話  
19. さらに興味のある方へ • https://qiita.com/tokkiwa/items/7f2ce674ca8afa6b67c8 • https://qiita.com/tokkiwa/items/5b5c92daae1c93787281 -
20. - 10.48550/arXiv.2405.16605 - 10.48550/arXiv.2309.10668 10.48550/arXiv.2306.04050 -
21. 付録1: データ圧縮のもうちょっと細かい話     
22. 付録2: 生成モデルのもうちょっと細かい話   