ライセンスの呪いを祓う

Transcript

1. ライセンスの呪いを祓う 機械学習の社会実装勉強会第18回 Henry 2022/12/31
2. ライセンス！ ▪ このライブラリー・この実装を使いたい！ → ライセンスを見てみたら、だめでした。。。 ▪ 色々回避策を施し、やっとリリースできる → と思いきや、pre-trained modelをfine tuningしていた ▪ ほとんどのpre-trained modelはImageNetで学習していた • ImageNetやPlaces365自体は商用不可 • 学習済みモデルの重みという数値の塊は、ImageNetと違うけど、商用 不可と承認したうえでデータをダウンロードし学習を回すので、やはり 学習済みモデルも商用不可なのでは → そもそも最初でImageNetでpre-trainしなければ厄介なことにならな い → ImageNet以外のpre-training data候補として、人工生成画像が有 望！ 2
3. Pre-training without Natural Images ▪ ACCV 2020, IJCV 2022 ▪ 数学的に大量な画像を生成したい • Fractalは有名な数学的構造 • シンプルなパラメータで複雑な模様を制御できる ▪ Iterated Function System (IFS)で生成プロセスを定義 • • 一つのIFSを一つの分類カテゴリにする • 確率pでiを決める • 以下の式でxを変換 3
4. Pre-training without Natural Images ▪ Downstream taskにおいて、scratchを遥かに超える収束速 度を達成 4
5. 実験結果 ▪ 基本的にデータ数（カテゴリ数または各カテゴリの画像数）は 多いほうが性能が良い ▪ ResNet-50という小さめのモデルを使ったので、キャパシティ のより大きいモデルで更に精度向上の可能性 5
6. 実験結果 ▪ ImageNetと拮抗するぐらいの性能 ▪ 人工データに数の上限がないので、モデルのキャパシティを 上げることで性能向上の可能性 6
7. Can Vision Transformers Learn without Natural Images? ▪ AAAI 2022 ▪ 前述の生成過程を少し拡張し、Vision Transformersに適用し た ▪ より性能の良いpre-trainが達成できた 7
8. Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ CVPR 2022 ▪ 生成プロセスがより精緻化になったContourベースの人工 データで、Vision Transformersのpre-trainで（限定的ですが） ImageNetを超えた 8
9. Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ Vision TransformerのAttention Mapで、Fractalsにとって縁 のところが注目される → Contourで良い ▪ 自由度が高い人工データのほうが性能が良い → 生成プロセ スにある可動パラメータを増やせば良い 9
10. まとめ ▪ ライセンス問題回避のために、人工生成画像で画像認識モデ ルをpre-trainする手法に関する論文 • Vision Transformersで優れた性能が実現 ▪ Future work • ほとんど白黒の画像を扱ってきたが、カラフルな生成画像でpre-train すればよりパワフルになる！ 10