Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Deep Learning and Sparse Modelling

Hacarus Inc.
April 16, 2020

Deep Learning and Sparse Modelling

Hacarus Inc.

April 16, 2020
Tweet

More Decks by Hacarus Inc.

Other Decks in Science

Transcript

  1. 1 Strictly Confidential - All Rights Reserved - HACARUS INC.

    Deep Learningとスパースモデリング 株式会社HACARUS データサイエンティスト 増井 隆治 [email protected]
  2. Strictly Confidential - All Rights Reserved - HACARUS INC. 自己紹介

    • 名前: 増井 隆治 (Masui Ryuji) • 出身: 三重県 • 好きなもの ◦ 音楽 (聞くのも、演奏するのも) ◦ おいしいお酒 ▪ ビール、日本酒、ワイン • 最近の趣味 ◦ ファイアーエムブレム風花雪月 ◦ 現在三週目 • スパースモデリング に関する記事書いてます ◦ CodeZine ◦ Ledge.ai • データ解析(スパースモデリング )に関する講義も行なってます ◦ 滋賀大学データサイエンス学科など 2 最近のイチオシ!
  3. Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて

    3 HACARUS-X スパースモデリング ベースのAI ボックスPC クラウド FPGA / ARMチップ 医療 製造業 • スパースモデリング などを用いたデータ分析、Explainable な AIモデル構築 • 主に、医療と製造業がメインターゲット • 非ディープラーニングのため、エッジで学習 & 推論が可能 本社が京都の会社です
  4. Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて

    外観検査サービス SPECTRO 良品のみの学習で解釈性の高いAIモデルを構築 診断・治療支援AIサービス 脳卒中診断支援、ヒトや犬猫の心電図分析など COLIGO Edge AI 非ディープラーニングAIによるエッジデバイスでの学習&推論 4
  5. Strictly Confidential - All Rights Reserved - HACARUS INC. 今日話したいこと

    1. 機械学習(教師あり学習)、DeepLearning が何をしようとしているのか 2. スパースモデリング が何をしようとしているのか 3. スパースモデリング で何ができるか 4. DeepLearningとスパースモデリング の融合!? 5
  6. Strictly Confidential - All Rights Reserved - HACARUS INC. そもそも学習とは何か

    1. 入力データ x と正解ラベル y を大量に用意 2. x と y をDeepLearning (その他の機械学習アルゴリズム) に投げる 3. 学習完了! 6 入力データ x 正解ラベル y Done! 学習 一体、なにを学習したのか?
  7. Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearning、機械学習は関数を学習している

    関数とは、入力 x と出力 y の対応関係 f のこと。 機械学習では、大量のデータから、関数 f を決定している。 データ x が与えられたときに、予測値 y をどのように求めるかをデータから決める 7 How?
  8. Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリングとは

    スパースとは、少ないとか、疎という意味。 Lassoによる特徴量選択、MRIの高速撮像高精細化、ブラックホール撮像で応用 観測値 y はどのような要因 x によって得られたかを求める。 データから本質を抽出するのがスパースモデリング 8 一見複雑そうな データ 少数の原因が絡み 合っている Why?
  9. Strictly Confidential - All Rights Reserved - HACARUS INC. 機械学習とスパースモデリング

    9 ディープラーニング (機械学習) スパースモデリング (順問題) (逆問題)
  10. Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリング

    でできること Lasso • xの要素のうちほとんどはゼロ ◦ Lassoによる特徴量選択 • xの 何か はほとんどゼロ ◦ MRIの撮像 ◦ ブラックホールの撮像 ◦ レントゲン画像 辞書学習 • y は少数のパターンの組み合わせで表現可能 ◦ SPECTROのコアアルゴリズム ◦ 詳しくは、CodeZine 参照。近日公開予定。 10 辞書学習 辞書で 表現可能か?
  11. Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearningとスパースモデリング

    の融合 !? • Variational Sparse Coding (ICLR, 2019, https://openreview.net/pdf?id=SkeJ6iR9Km ) ◦ VAE の latent code をスパースにすることで、解釈性が高く再利用のしやすい latent codeになる • VAE の ガウス分布を Spike and Slab という分布で置き換えたもの 11
  12. Strictly Confidential - All Rights Reserved - HACARUS INC. 実験結果

    1. latent space の次元を大きくしても性能が下がらない (過学習が防げる) 2. latent code の解釈性 latent codeの値を変更すると 長袖から半袖に! 12
  13. Strictly Confidential - All Rights Reserved - HACARUS INC. まとめ

    • 機械学習、ディープラーニングと、スパースモデリング では目的意識が180度異なる • スパースモデリング は、データのスパース性を仮定することで、データの本質を抽出する 分析手法 ◦ Lassoの特徴量選択以外にもいろんなことができる ◦ 特に画像系のデータと相性がいい • Deep Learning と スパースモデリング の融合も最近は研究されている。 ◦ 仲良くしてください [記事のリンク] Codezine https://codezine.jp/article/corner/740 Ledge.ai https://ledge.ai/hacarus-sparse-modeling/ 13
  14. Strictly Confidential - All Rights Reserved - HACARUS INC. Thank

    you! 14 • HACARUS Webページ (https://hacarus.com/ja/) • 質問、仕事の相談などもお待ちしております。