Heartbeat Sound Signal Classification Using Deep Learning Deep Learningを用いた心音分類 誉也＠nakatak44107018

著者 Ali Raza 1 , Arif Mehmood 1 , Saleem Ullah 1,* , Maqsood Ahmad 1, Gyu Sang Choi 2,* and Byung-Won On 3 1．Department of Computer Science, Khwaja Fareed University of Engineering and Information Technology, Rahim Yar Khan, Punjab 64200, Pakistan; [email protected] (A.R.); [email protected] (A.M.); [email protected] (M.A.) 2．Department of Information and Communication Engineering, Yeungnam University, Gyeongsan 38542, Korea 3．Department of Software Convergence Engineering, Kunsan National University, Gunsan 54150, Korea; [email protected] * Correspondence: [email protected] (S.U.); [email protected] (G.S.C.)

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

Introduction ・心音の異常を判別するのは心疾患の発見に重要 ・聴診器を用いた診断は日常的に行われている ・臨床経験が乏しいと判別は困難

1．収縮期の閉弁に伴う S1音成分(lub) 2．拡張期の開弁に伴う S2音成分(dub) 正常な心音は「lub dub dub lub」 60〜100 拍/分(lub と dub) 正常な心音

ディープラーニング(RNN)を用いた Normal，Murmur, Extra-systoleの分類 研究の目的 ・Normal ・Murmur 心雑音．心音と心音の間に聴取される， 心房，心室，大血管の基始部で発生するノイズ ・Extra-systole 期外収縮の際に聴取できる音

Classifying Heart Sounds Challenge Dataset-B （ http://www.peterjbentley.com/heartchallenge/ ） スペクトログラム 音の波形 データセット

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

前処理（セグメンテーション） バンドパスフィルターを用いてノイズを取り除く． バンドパスフィルター：必要な周波数のみを選択し，他の周波数を除去する仕組み 特徴量抽出 各心音信号を 固定サイズの心音信号に変換する．（データフレーミング） その後，ダウンサンプリングを用いる． これにより，アルゴリズムの性能に影響を与えずに計算時間を短縮できる． 分類アルゴリズム選択 本研究で使用した分類アルゴリズムは， 決定木(DT)，ランダムフォレスト(RF)，線形サポ ートベクター分類器(LSVC)， ディープラーニングアルゴリズムとして，多層パーセプトロン(MLP) とRNN ノイズ：服の擦れる音，人の声，周囲の音

データフレーミング ダウンサンプリング 特徴量抽出

データ の70％ データ の30％ フレームワーク

モデル評価⽅法 評価法 Accuracy

Result

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

再帰型ニューラルネットワーク（Recurrent Neural Networks）

• あるユニット間に有向な閉路（ループ）を持つNNの総称． • 前の時刻の隠れ状態ベクトルと現時刻の入力ベクトルを使って， 現時刻の隠れ状態ベクトルを更新する． • 時系列データを扱うことができる https://www.simplilearn.com/tutorials/deep-learning-tutorial/rnn 再帰型ニューラルネットワーク（Recurrent Neural Networks）

Tが大きい場合，長い入力系列ではパラメタ行列の固有値に状態変数の値が大きく影響される． （層を逆伝播する際の勾配が原因） • 固有値が1より大きいと状態変数の値は指数的に大きくなる（勾配爆発） • 固有値が1より小さいと状態変数の値は指数的に小さくなる（勾配消失） 時間的に離れている時刻に発生した誤差を伝搬させるのは困難 長期記憶は苦手だけど，短期記憶だけを学習してしまう傾向がある． RNNの問題点：長期依存性の問題 〜勾配爆発や勾配消失〜 参照：https://nnadl-ja.github.io/nnadl_site_ja/chap5.html - discussion_why

No content

“ゲート”を用いることで，長期記憶と短期記憶をバランスよく学習する． (ゲート：選択的に情報を通す方法) 代表例： 長短期記憶（Long Short-Term Memory： LSTM ） ゲート付き回帰ユニット（GRU） 木構造再帰ニューラルネット（TreeーRNN） ゲート付き再帰ニューラルネット

Ft：忘却ゲート，It ：入力ゲート Ot：出力ゲート ，Ht：隠れ状態ベクトル Ct：セルベクトル, σs ：シグモイド関数 σh ：tanh関数（双曲線正接関数） w ：重み，b ：バイアス c0 = 0 ， h0 = 0とする LSTM 入力ゲート，忘却ゲート，出力ゲートを使用し， 長期の情報を保持するセル（cell）と呼ばれる別の隠れ状態ベクトル を用いる． 入力ゲートと忘却ゲートで短期と長期の情報のバランスを調整して セルの値を更新している． ？？？

tanh関数（Hyperbolic tangent function： 双曲線正接関数）とは？

標準RNN

LSTMの構造・ ・ ・4つの作用する層を含む https://qiita.com/KojiOhki/items/89cd7b69a8a6239d67ca

セル状態（C）について 過去のデータを保存するためのユニット

STEP 1：忘却ゲート（情報の廃棄の準備） 「過去の情報が入っているセル状態の中身をどの程度残すか」を調整するためのゲート

STEP 2：入力ゲート（情報の更新の準備） 「1つ前の時間のユニットの入力をどの程度受け取るか」を調整するためのゲート

STEP 3：情報の廃棄と更新

STEP 4：出力ゲート 1つ前の時間のユニットの出力をどの程度受け取るかを調整するためのゲート

RNN LSTM

• Ft：忘却ゲート，It ：⼊⼒ゲート • Ot：出⼒ゲート ，Ht：隠れ状態ベクトル • Ct：セルベクトル, σs ：シグモイド関数 • σh ：tanh関数（双曲線正接関数） • w ：重み，b ：バイアス • c0 = 0 ， h0 = 0とする

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

Kaggle https://www.kaggle.com/mayuramanawadu/heart-sounds-analysis-and-classification-with-lstm

T A B L E O F C O N T E N T S CHAPTER 2 心音解析 CHAPTER 1 研究の概要 CHAPTER 4 心音解析 （実践編） CHAPTER 5 RNNとCNN CHAPTER 3 RNNとLSTM

心音や肺音などの音声分析において CNNとRNNどちらを用いるべき？？

• CNN： 畳み込み操作において，時間非依存性の変換やプーリングでは局所的な不変性を 仮定しているため，この仮定を満たすタスクがむいている． 【計算時間の問題】 • CNNでは，隠れ状態ベクトル間に依存関係が少なく並列化しやすい． • RNNでは，系列全ての隠れ状態ベクトルがある時刻の隠れ状態ベクトルの 計算に用いられているため同じ階層の計算は逐次的に評価する必要があり， 並列化できない． RNN とCNN

• 方法・手段は問題に応じて適切に選択するもの • 波形を画像にする時点で，波形がもつ何らかの情報が失われるリスクがある • 様々な局所特徴を測る仕組みに相当するCNNが写真のような画像認識に 効果的である理由は，画像の情報が局所的な特徴の組合せで表されているから． • 対象の心音（肺音）を画像にした情報を 局所特徴の組合せで表されていると仮定すればCNNも使える？？