Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Deep Learning and Sparse Modelling
Hacarus Inc.
April 16, 2020
Science
1
1.4k
Deep Learning and Sparse Modelling
Hacarus Inc.
April 16, 2020
Tweet
Share
More Decks by Hacarus Inc.
See All by Hacarus Inc.
QA4AIに則ったMLOpsツールの活用
hacarus
0
380
0から協働ロボット外観検査システムを3ヵ月で具現化した軌跡
hacarus
0
12
ワンちゃんの健康を願う皆様に送る 犬心電図AI解析プロダクト紹介_AWS DevDay2022
hacarus
0
32
犬の心電AI解析プロダクト開発奮闘記 _クラウドからハード開発までてんこ盛り
hacarus
0
910
ExplainableAIの概要とAmazon SageMaker Clarifyでの実装例
hacarus
0
230
AWS Step Functions を用いた非同期学習処理の例
hacarus
0
240
Dashでmyダッシュボードを作ろう ーpytrendsで見るコロナの感染拡大時期ー
hacarus
0
220
Interpretable Machine Learning: モデル非依存な解釈手法の紹介
hacarus
0
360
時系列データ予測手法の宇宙天気予報への応用
hacarus
0
590
Other Decks in Science
See All in Science
統計的因果推論の勉強会@2022
arumakan
8
4.7k
PERANAN TATA RUANG DALAM ADAPTASI PERUBAHAN IKLIM DI WILAYAH PESISIR DAN LAUT
dasaptaerwin
0
120
ACG22_JAKi_2_faces_Higgins.pdf
higgi13425
0
280
小川雄太郎_発表スライド_高専HNK_7月月例会_事前編
33yutaroyutaroyutaro
0
380
result of reconstruction
jou
0
110
Search at Bloomberg: Challenges, Opportunities, and Lessons Learned
emeij
0
320
Beyond FAIR: What Data Infrastructure does Open Science Need?
rabernat
0
210
調整変数の選び方
koro485
2
3.5k
深センにしかないものと日本にしかないものを組み合わせて、世界の問題を解いていく
takasumasakazu
0
180
OSSAN - Universal Open Access
dasaptaerwin
0
110
ミケル点とべズーの定理
unaoya
0
310
Pearl「入門統計的因果推論」の概要と活用イメージ
s1ok69oo
2
510
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
130
5.7k
Agile that works and the tools we love
rasmusluckow
320
20k
From Idea to $5000 a Month in 5 Months
shpigford
374
44k
Into the Great Unknown - MozCon
thekraken
2
280
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
270
12k
The Art of Programming - Codeland 2020
erikaheidi
35
11k
Support Driven Design
roundedbygravity
88
8.9k
YesSQL, Process and Tooling at Scale
rocio
159
12k
Learning to Love Humans: Emotional Interface Design
aarron
263
38k
How to Ace a Technical Interview
jacobian
270
21k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
6
830
The Invisible Customer
myddelton
113
12k
Transcript
1 Strictly Confidential - All Rights Reserved - HACARUS INC.
Deep Learningとスパースモデリング 株式会社HACARUS データサイエンティスト 増井 隆治
[email protected]
Strictly Confidential - All Rights Reserved - HACARUS INC. 自己紹介
• 名前: 増井 隆治 (Masui Ryuji) • 出身: 三重県 • 好きなもの ◦ 音楽 (聞くのも、演奏するのも) ◦ おいしいお酒 ▪ ビール、日本酒、ワイン • 最近の趣味 ◦ ファイアーエムブレム風花雪月 ◦ 現在三週目 • スパースモデリング に関する記事書いてます ◦ CodeZine ◦ Ledge.ai • データ解析(スパースモデリング )に関する講義も行なってます ◦ 滋賀大学データサイエンス学科など 2 最近のイチオシ!
Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて
3 HACARUS-X スパースモデリング ベースのAI ボックスPC クラウド FPGA / ARMチップ 医療 製造業 • スパースモデリング などを用いたデータ分析、Explainable な AIモデル構築 • 主に、医療と製造業がメインターゲット • 非ディープラーニングのため、エッジで学習 & 推論が可能 本社が京都の会社です
Strictly Confidential - All Rights Reserved - HACARUS INC. HACARUSについて
外観検査サービス SPECTRO 良品のみの学習で解釈性の高いAIモデルを構築 診断・治療支援AIサービス 脳卒中診断支援、ヒトや犬猫の心電図分析など COLIGO Edge AI 非ディープラーニングAIによるエッジデバイスでの学習&推論 4
Strictly Confidential - All Rights Reserved - HACARUS INC. 今日話したいこと
1. 機械学習(教師あり学習)、DeepLearning が何をしようとしているのか 2. スパースモデリング が何をしようとしているのか 3. スパースモデリング で何ができるか 4. DeepLearningとスパースモデリング の融合!? 5
Strictly Confidential - All Rights Reserved - HACARUS INC. そもそも学習とは何か
1. 入力データ x と正解ラベル y を大量に用意 2. x と y をDeepLearning (その他の機械学習アルゴリズム) に投げる 3. 学習完了! 6 入力データ x 正解ラベル y Done! 学習 一体、なにを学習したのか?
Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearning、機械学習は関数を学習している
関数とは、入力 x と出力 y の対応関係 f のこと。 機械学習では、大量のデータから、関数 f を決定している。 データ x が与えられたときに、予測値 y をどのように求めるかをデータから決める 7 How?
Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリングとは
スパースとは、少ないとか、疎という意味。 Lassoによる特徴量選択、MRIの高速撮像高精細化、ブラックホール撮像で応用 観測値 y はどのような要因 x によって得られたかを求める。 データから本質を抽出するのがスパースモデリング 8 一見複雑そうな データ 少数の原因が絡み 合っている Why?
Strictly Confidential - All Rights Reserved - HACARUS INC. 機械学習とスパースモデリング
9 ディープラーニング (機械学習) スパースモデリング (順問題) (逆問題)
Strictly Confidential - All Rights Reserved - HACARUS INC. スパースモデリング
でできること Lasso • xの要素のうちほとんどはゼロ ◦ Lassoによる特徴量選択 • xの 何か はほとんどゼロ ◦ MRIの撮像 ◦ ブラックホールの撮像 ◦ レントゲン画像 辞書学習 • y は少数のパターンの組み合わせで表現可能 ◦ SPECTROのコアアルゴリズム ◦ 詳しくは、CodeZine 参照。近日公開予定。 10 辞書学習 辞書で 表現可能か?
Strictly Confidential - All Rights Reserved - HACARUS INC. DeepLearningとスパースモデリング
の融合 !? • Variational Sparse Coding (ICLR, 2019, https://openreview.net/pdf?id=SkeJ6iR9Km ) ◦ VAE の latent code をスパースにすることで、解釈性が高く再利用のしやすい latent codeになる • VAE の ガウス分布を Spike and Slab という分布で置き換えたもの 11
Strictly Confidential - All Rights Reserved - HACARUS INC. 実験結果
1. latent space の次元を大きくしても性能が下がらない (過学習が防げる) 2. latent code の解釈性 latent codeの値を変更すると 長袖から半袖に! 12
Strictly Confidential - All Rights Reserved - HACARUS INC. まとめ
• 機械学習、ディープラーニングと、スパースモデリング では目的意識が180度異なる • スパースモデリング は、データのスパース性を仮定することで、データの本質を抽出する 分析手法 ◦ Lassoの特徴量選択以外にもいろんなことができる ◦ 特に画像系のデータと相性がいい • Deep Learning と スパースモデリング の融合も最近は研究されている。 ◦ 仲良くしてください [記事のリンク] Codezine https://codezine.jp/article/corner/740 Ledge.ai https://ledge.ai/hacarus-sparse-modeling/ 13
Strictly Confidential - All Rights Reserved - HACARUS INC. Thank
you! 14 • HACARUS Webページ (https://hacarus.com/ja/) • 質問、仕事の相談などもお待ちしております。