Nishika_Sleep_TYS_1st_Solution.pdf

Transcript

1. 睡眠段階の判定 〜”睡眠の深さを判別しよう”〜 振り返り会 1st place solution チームTYS 2023 年 2 ⽉ 28 ⽇
2. チームメンバー yom § データサイエンティスト § 博⼠（神経科学）2児の⺟ § 機械学習＋脳波は初挑戦 h_taki § 博⼠（⼯学）→電⼒分野の技 術者→データサイエンティスト § 睡眠データ経験なし Ryuta 2 § データサイエンティスト § 修⼠研究で睡眠データを利⽤ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
3. 活動タイムライン 序盤 11⽉ - 12⽉ 緩く始める。 各⾃それぞれ好きなことをする。 GBM、CNN（時系列、画像化） 年末年始 Ryuta君が特徴量を作りこんでくれる。 1⽉以降 Ryuta君のGBMでスコアが伸びる。 GBM系に注⼒し、３⼈で分担して検討を進める。 実験管理、CV-LBをチェック。 終盤 PBがなかなか上がらず１位に追いつけない。 CVを信じてチューニング。 → 逆転優勝︕ 3 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
4. 特徴量⽣成 学習・予測 前処理 基本的な特徴量⼿法の流れに沿って実装 前処理 約22時間の波形データから睡眠時を中⼼に必要な部分 のみにデータをトリミング 特徴量⽣成 30,60,90秒単位に分割して、前後の情報も踏まえる形 で時間特徴量・周波数特徴量を、作成する。 学習・予測 4 ⽣データ トリミング エポック分割 特徴量⽣成 KFold交差検証 モデル予測 LightGBMを⽤いたKfold交差検証でモデルを作成し、ア ンサンブルしたもので予測を⾏う。 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
5. サンプル周期が異なることに注意して、⽣データを取得 各種⽣データを取得 EEG、EOG、呼吸、EMG、体温、イベントの信号をそれぞれ取得。 （edfファイルの扱いに、少し⼿間取りました。） 5 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
6. 無駄な情報を含まないようにデータ範囲を絞り込み 睡眠以外の前後のデータも含まれてしまっている。 配られたデータには、睡眠前後の覚醒(W)のデータも多く 含まれており、ラベルの偏りに繋がる。 睡眠ラベルから睡眠前後30分の範囲に絞る ⼿動で睡眠ラベルから前後30分の範囲に絞って、モデルの 学習に使⽤するようにした。 6 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
7. 広い範囲と狭い範囲・前後の情報を活かすように特徴量⽣成 30,60,90秒単位で分割 異なる解像度の特徴量を取得することで、細部と全体の 両⽅の特徴を捉えるようにする。 前後の情報を使⽤ さらに、現在のエポックの情報だけでなく、過去・未来のエ ポックの情報も加えることで、前後関係も捉えるようにする。 前後の使⽤数を増やす ⼯夫点として、30×5、60×2、90×1の使⽤数を 30×11、60×8、90×7に増やした。 7 ⼯夫点１ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Do Not Sleep on Traditional Machine Learning, J Van Der Doncki et al. 2022
8. 時間領域・周波数領域の特徴量を取得 8 機能 EEG EOG 呼吸 EMG 体温 イベント 時間領域 基本特徴量（標準偏差、四分位範囲、歪度、尖度、ゼロ交差数） ✓ ✓ ✓ ✓ ✓ ✓ Hjorth特徴量 ✓ ✓ ✓ ✓ ✓ ✓ フラクタル次元特徴量 ✓ ✓ ✓ ✓ ✓ ✓ エントロピー特徴量 ✓ ✓ ✓ ✓ ✓ ✓ ピーク間隔特徴量 ✓ ✓ ✓ 周波数領域 基本特徴量（スペクトル重⼼、バリアンス、歪度、尖度） ✓ ✓ ビンフーリエエントロピー ✓ ✓ 各周波数帯ごとの特徴量 ✓ ✓ ⼯夫点２ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
9. 時間特徴量 基本特徴量 フラクタル次元など § ヒグチフラクタル次元 § ペトロシアンフラクタル次元 § Hjorth特徴量 ピーク間隔特徴量 9 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Sleep Stage Recognition using Respiration Signal, J Yang et al. 2016
10. 周波数特徴量 窓関数によるSTFT（Short Term Fourier Transformation） 始点と終点を揃えるために、窓関数処理を施してからフーリエ変換を⾏う。 10 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
11. 周波数特徴量 基本特徴量 各周波数帯ごとの特徴量 ビンフーリエエントロピー 11 ⼯夫点３ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
12. 個⼈差・サンプル誤差を考慮して、標準化処理特徴量を追加 PSGのサンプルごとに特徴量を標準化して連結 睡眠には個⼈差があり、さらにデバイスの装着によっても値にばらつきが出るため、サンプルごとの標準化処理により、1サン プル内の変動を捉えるようにする。 12 標準化前 標準化後 ⼯夫点４ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
13. 特徴量重要度 EEG関連の特徴量、呼吸間隔特徴量が上位 上位20項⽬の特徴量重要度をまとめたところ、ほとんどがEEG関連の時間・周波数特徴量で標準化された値も含まれる。 また、標準化した呼吸間隔の最⼤値やEMGの標準偏差も上位に⾒られる。 13 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
14. CVとLBを記録しながら、Kfold交差検証でモデルを検討 Kfold交差検証 W,R,S1,S2,S3/S4の5分類の割合を維持したまま、Kfoldに分割してそれぞれでモデルの予測を⾏い、結果をアンサン ブルしたものを最終的な結果とした。CVの結果とLBの結果の関係も整理して、相関関係があることを確認した。 14 … … データ分割イメージ CVとLBの対応関係 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
15. その他に取り組んだこと 画像分類CNN 5値分類×3値分類 後処理 15 § ⿃コンペ(スペクトログラム) § リカレンスプロット ⼯夫点５ ⼯夫点６ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 https://www.kaggle.com/code/tigurius/recuplots-and-cnns- for-time-series-classification/notebook
16. シェイクのリスクを踏まえて、アンサンブルモデルを提出 最終提出 ① 4+4+5のアンサンブル︓0.8516 → 0.8560 ② 4+4のアンサンブル ︓0.8524 → 0.8553 16 逆転優勝︕ だいぶ差がありましたが、、 Public スコア Private スコア ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
17. ご清聴ありがとうございました。