Deep Learning and Sparse Modelling

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. 自己紹介 ● 名前: 増井隆治 (Masui Ryuji) ● 出身: 三重県 ● 好きなもの ○ 音楽 (聞くのも、演奏するのも) ○ おいしいお酒 ■ ビール、日本酒、ワイン ● 最近の趣味 ○ ファイアーエムブレム風花雪月 ○ 現在三週目 ● スパースモデリングに関する記事書いてます ○ CodeZine ○ Ledge.ai ● データ解析（スパースモデリング）に関する講義も行なってます ○ 滋賀大学データサイエンス学科など 2 最近のイチオシ！

Slide 3

Slide 3 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. HACARUSについて 3 HACARUS-X スパースモデリングベースのAI ボックスPC クラウド FPGA / ARMチップ医療製造業 ● スパースモデリングなどを用いたデータ分析、Explainable な AIモデル構築 ● 主に、医療と製造業がメインターゲット ● 非ディープラーニングのため、エッジで学習 & 推論が可能本社が京都の会社です

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. スパースモデリングとはスパースとは、少ないとか、疎という意味。 Lassoによる特徴量選択、MRIの高速撮像高精細化、ブラックホール撮像で応用観測値 y はどのような要因 x によって得られたかを求める。データから本質を抽出するのがスパースモデリング 8 一見複雑そうなデータ少数の原因が絡み合っている Why?

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. スパースモデリングでできること Lasso ● xの要素のうちほとんどはゼロ ○ Lassoによる特徴量選択 ● xの何かはほとんどゼロ ○ MRIの撮像 ○ ブラックホールの撮像 ○ レントゲン画像辞書学習 ● y は少数のパターンの組み合わせで表現可能 ○ SPECTROのコアアルゴリズム ○ 詳しくは、CodeZine 参照。近日公開予定。 10 辞書学習辞書で表現可能か？

Slide 11

Slide 11 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. DeepLearningとスパースモデリングの融合 !? ● Variational Sparse Coding (ICLR, 2019, https://openreview.net/pdf?id=SkeJ6iR9Km ) ○ VAE の latent code をスパースにすることで、解釈性が高く再利用のしやすい latent codeになる ● VAE のガウス分布を Spike and Slab という分布で置き換えたもの 11

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Strictly Conﬁdential - All Rights Reserved - HACARUS INC. まとめ ● 機械学習、ディープラーニングと、スパースモデリングでは目的意識が180度異なる ● スパースモデリングは、データのスパース性を仮定することで、データの本質を抽出する分析手法 ○ Lassoの特徴量選択以外にもいろんなことができる ○ 特に画像系のデータと相性がいい ● Deep Learning とスパースモデリングの融合も最近は研究されている。 ○ 仲良くしてください [記事のリンク] Codezine https://codezine.jp/article/corner/740 Ledge.ai https://ledge.ai/hacarus-sparse-modeling/ 13

Slide 14

Slide 14 text