Deep Learning and Sparse Modelling

Transcript

1. 1 Strictly Confidential - All Rights Reserved - HACARUS INC.

   Deep Learningとスパースモデリング 株式会社HACARUS データサイエンティスト 増井 隆治 ryuji@hacarus.com

2. Strictly Confidential - All Rights Reserved - HACARUS INC. 自己紹介

   • 名前: 増井 隆治 (Masui Ryuji) • 出身: 三重県 • 好きなもの ◦ 音楽 (聞くのも、演奏するのも) ◦ おいしいお酒 ▪ ビール、日本酒、ワイン • 最近の趣味 ◦ ファイアーエムブレム風花雪月 ◦ 現在三週目 • スパースモデリング に関する記事書いてます ◦ CodeZine ◦ Ledge.ai • データ解析（スパースモデリング ）に関する講義も行なってます ◦ 滋賀大学データサイエンス学科など 2 最近のイチオシ！

3. Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて

   3 HACARUS-X スパースモデリング ベースのAI ボックスPC クラウド FPGA / ARMチップ 医療 製造業 • スパースモデリング などを用いたデータ分析、Explainable な AIモデル構築 • 主に、医療と製造業がメインターゲット • 非ディープラーニングのため、エッジで学習 & 推論が可能 本社が京都の会社です

4. Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて

   外観検査サービス SPECTRO 良品のみの学習で解釈性の高いAIモデルを構築 診断・治療支援AIサービス 脳卒中診断支援、ヒトや犬猫の心電図分析など COLIGO Edge AI 非ディープラーニングAIによるエッジデバイスでの学習&推論 4

5. Strictly Confidential - All Rights Reserved - HACARUS INC. 今日話したいこと

   1. 機械学習（教師あり学習)、DeepLearning が何をしようとしているのか 2. スパースモデリング が何をしようとしているのか 3. スパースモデリング で何ができるか 4. DeepLearningとスパースモデリング の融合！？ 5

6. Strictly Confidential - All Rights Reserved - HACARUS INC. そもそも学習とは何か

   1. 入力データ x と正解ラベル y を大量に用意 2. x と y をDeepLearning (その他の機械学習アルゴリズム) に投げる 3. 学習完了！ 6 入力データ x 正解ラベル y Done! 学習 一体、なにを学習したのか？

7. Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearning、機械学習は関数を学習している

   関数とは、入力 x と出力 y の対応関係 f のこと。 機械学習では、大量のデータから、関数 f を決定している。 データ x が与えられたときに、予測値 y をどのように求めるかをデータから決める 7 How?

8. Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリングとは

   スパースとは、少ないとか、疎という意味。 Lassoによる特徴量選択、MRIの高速撮像高精細化、ブラックホール撮像で応用 観測値 y はどのような要因 x によって得られたかを求める。 データから本質を抽出するのがスパースモデリング 8 一見複雑そうな データ 少数の原因が絡み 合っている Why?

9. Strictly Confidential - All Rights Reserved - HACARUS INC. 機械学習とスパースモデリング

   9 ディープラーニング （機械学習） スパースモデリング （順問題） （逆問題）

10. Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリング

    でできること Lasso • xの要素のうちほとんどはゼロ ◦ Lassoによる特徴量選択 • xの 何か はほとんどゼロ ◦ MRIの撮像 ◦ ブラックホールの撮像 ◦ レントゲン画像 辞書学習 • y は少数のパターンの組み合わせで表現可能 ◦ SPECTROのコアアルゴリズム ◦ 詳しくは、CodeZine 参照。近日公開予定。 10 辞書学習 辞書で 表現可能か？

11. Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearningとスパースモデリング

    の融合 !? • Variational Sparse Coding (ICLR, 2019, https://openreview.net/pdf?id=SkeJ6iR9Km ) ◦ VAE の latent code をスパースにすることで、解釈性が高く再利用のしやすい latent codeになる • VAE の ガウス分布を Spike and Slab という分布で置き換えたもの 11

12. Strictly Confidential - All Rights Reserved - HACARUS INC. 実験結果

    1. latent space の次元を大きくしても性能が下がらない (過学習が防げる) 2. latent code の解釈性 latent codeの値を変更すると 長袖から半袖に！ 12

13. Strictly Confidential - All Rights Reserved - HACARUS INC. まとめ

    • 機械学習、ディープラーニングと、スパースモデリング では目的意識が180度異なる • スパースモデリング は、データのスパース性を仮定することで、データの本質を抽出する 分析手法 ◦ Lassoの特徴量選択以外にもいろんなことができる ◦ 特に画像系のデータと相性がいい • Deep Learning と スパースモデリング の融合も最近は研究されている。 ◦ 仲良くしてください [記事のリンク] Codezine https://codezine.jp/article/corner/740 Ledge.ai https://ledge.ai/hacarus-sparse-modeling/ 13

14. Strictly Confidential - All Rights Reserved - HACARUS INC. Thank

    you! 14 • HACARUS Webページ (https://hacarus.com/ja/) • 質問、仕事の相談などもお待ちしております。