Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nishika_Sleep_TYS_1st_Solution.pdf
Search
Nishika-Inc
March 06, 2023
Technology
0
220
Nishika_Sleep_TYS_1st_Solution.pdf
Nishika-Inc
March 06, 2023
Tweet
Share
More Decks by Nishika-Inc
See All by Nishika-Inc
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
730
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
190
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
380
Nishika_Sleep_Condor_3rd_Solution.pdf
nishikainc
0
180
[Nishika] Patent_tmsbir_1st Solution
nishikainc
0
470
[Nishika] Patent_TDX_3rd Solution
nishikainc
0
370
[Nishika] Narou_Hi F_1st Solution
nishikainc
0
290
[Nishika] Narou_z Animal_2nd Solution
nishikainc
0
240
202010_Nishika_サービス紹介 / Nishika_Service_Introduction
nishikainc
0
220
Other Decks in Technology
See All in Technology
How Do I Contact HP Printer Support? [Full 2025 Guide for U.S. Businesses]
harrry1211
0
120
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
320
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
180
【LT会登壇資料】TROCCO新コネクタ「スマレジ」を活用した直営店データの分析
kazari0425
1
110
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
1
200
LLM時代の検索
shibuiwilliam
2
390
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
420
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
1
290
ゼロからはじめる採用広報
yutadayo
3
980
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
2
320
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
280
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
Automating Front-end Workflow
addyosmani
1370
200k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Documentation Writing (for coders)
carmenintech
72
4.9k
Building Applications with DynamoDB
mza
95
6.5k
Unsuck your backbone
ammeep
671
58k
The Pragmatic Product Professional
lauravandoore
35
6.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Transcript
睡眠段階の判定 〜”睡眠の深さを判別しよう”〜 振り返り会 1st place solution チームTYS 2023 年 2
⽉ 28 ⽇
チームメンバー yom § データサイエンティスト § 博⼠(神経科学)2児の⺟ § 機械学習+脳波は初挑戦 h_taki §
博⼠(⼯学)→電⼒分野の技 術者→データサイエンティスト § 睡眠データ経験なし Ryuta 2 § データサイエンティスト § 修⼠研究で睡眠データを利⽤ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
活動タイムライン 序盤 11⽉ - 12⽉ 緩く始める。 各⾃それぞれ好きなことをする。 GBM、CNN(時系列、画像化) 年末年始 Ryuta君が特徴量を作りこんでくれる。
1⽉以降 Ryuta君のGBMでスコアが伸びる。 GBM系に注⼒し、3⼈で分担して検討を進める。 実験管理、CV-LBをチェック。 終盤 PBがなかなか上がらず1位に追いつけない。 CVを信じてチューニング。 → 逆転優勝︕ 3 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量⽣成 学習・予測 前処理 基本的な特徴量⼿法の流れに沿って実装 前処理 約22時間の波形データから睡眠時を中⼼に必要な部分 のみにデータをトリミング 特徴量⽣成 30,60,90秒単位に分割して、前後の情報も踏まえる形 で時間特徴量・周波数特徴量を、作成する。
学習・予測 4 ⽣データ トリミング エポック分割 特徴量⽣成 KFold交差検証 モデル予測 LightGBMを⽤いたKfold交差検証でモデルを作成し、ア ンサンブルしたもので予測を⾏う。 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
サンプル周期が異なることに注意して、⽣データを取得 各種⽣データを取得 EEG、EOG、呼吸、EMG、体温、イベントの信号をそれぞれ取得。 (edfファイルの扱いに、少し⼿間取りました。) 5 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
無駄な情報を含まないようにデータ範囲を絞り込み 睡眠以外の前後のデータも含まれてしまっている。 配られたデータには、睡眠前後の覚醒(W)のデータも多く 含まれており、ラベルの偏りに繋がる。 睡眠ラベルから睡眠前後30分の範囲に絞る ⼿動で睡眠ラベルから前後30分の範囲に絞って、モデルの 学習に使⽤するようにした。 6 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
広い範囲と狭い範囲・前後の情報を活かすように特徴量⽣成 30,60,90秒単位で分割 異なる解像度の特徴量を取得することで、細部と全体の 両⽅の特徴を捉えるようにする。 前後の情報を使⽤ さらに、現在のエポックの情報だけでなく、過去・未来のエ ポックの情報も加えることで、前後関係も捉えるようにする。 前後の使⽤数を増やす ⼯夫点として、30×5、60×2、90×1の使⽤数を 30×11、60×8、90×7に増やした。
7 ⼯夫点1 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Do Not Sleep on Traditional Machine Learning, J Van Der Doncki et al. 2022
時間領域・周波数領域の特徴量を取得 8 機能 EEG EOG 呼吸 EMG 体温 イベント 時間領域
基本特徴量(標準偏差、四分位範囲、歪度、尖度、ゼロ交差数) ✓ ✓ ✓ ✓ ✓ ✓ Hjorth特徴量 ✓ ✓ ✓ ✓ ✓ ✓ フラクタル次元特徴量 ✓ ✓ ✓ ✓ ✓ ✓ エントロピー特徴量 ✓ ✓ ✓ ✓ ✓ ✓ ピーク間隔特徴量 ✓ ✓ ✓ 周波数領域 基本特徴量(スペクトル重⼼、バリアンス、歪度、尖度) ✓ ✓ ビンフーリエエントロピー ✓ ✓ 各周波数帯ごとの特徴量 ✓ ✓ ⼯夫点2 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
時間特徴量 基本特徴量 フラクタル次元など § ヒグチフラクタル次元 § ペトロシアンフラクタル次元 § Hjorth特徴量 ピーク間隔特徴量
9 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Sleep Stage Recognition using Respiration Signal, J Yang et al. 2016
周波数特徴量 窓関数によるSTFT(Short Term Fourier Transformation) 始点と終点を揃えるために、窓関数処理を施してからフーリエ変換を⾏う。 10 ⽬次 メンバー紹介 タイムライン
処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
周波数特徴量 基本特徴量 各周波数帯ごとの特徴量 ビンフーリエエントロピー 11 ⼯夫点3 ⽬次 メンバー紹介 タイムライン 処理フロー
前処理 特徴量⽣成 学習・予測 その他 最終提出
個⼈差・サンプル誤差を考慮して、標準化処理特徴量を追加 PSGのサンプルごとに特徴量を標準化して連結 睡眠には個⼈差があり、さらにデバイスの装着によっても値にばらつきが出るため、サンプルごとの標準化処理により、1サン プル内の変動を捉えるようにする。 12 標準化前 標準化後 ⼯夫点4 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量重要度 EEG関連の特徴量、呼吸間隔特徴量が上位 上位20項⽬の特徴量重要度をまとめたところ、ほとんどがEEG関連の時間・周波数特徴量で標準化された値も含まれる。 また、標準化した呼吸間隔の最⼤値やEMGの標準偏差も上位に⾒られる。 13 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
CVとLBを記録しながら、Kfold交差検証でモデルを検討 Kfold交差検証 W,R,S1,S2,S3/S4の5分類の割合を維持したまま、Kfoldに分割してそれぞれでモデルの予測を⾏い、結果をアンサン ブルしたものを最終的な結果とした。CVの結果とLBの結果の関係も整理して、相関関係があることを確認した。 14 … … データ分割イメージ CVとLBの対応関係 ⽬次
メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
その他に取り組んだこと 画像分類CNN 5値分類×3値分類 後処理 15 § ⿃コンペ(スペクトログラム) § リカレンスプロット ⼯夫点5
⼯夫点6 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 https://www.kaggle.com/code/tigurius/recuplots-and-cnns- for-time-series-classification/notebook
シェイクのリスクを踏まえて、アンサンブルモデルを提出 最終提出 ① 4+4+5のアンサンブル︓0.8516 → 0.8560 ② 4+4のアンサンブル ︓0.8524 →
0.8553 16 逆転優勝︕ だいぶ差がありましたが、、 Public スコア Private スコア ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
ご清聴ありがとうございました。