Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nishika_Sleep_TYS_1st_Solution.pdf
Search
Nishika-Inc
March 06, 2023
Technology
0
240
Nishika_Sleep_TYS_1st_Solution.pdf
Nishika-Inc
March 06, 2023
Tweet
Share
More Decks by Nishika-Inc
See All by Nishika-Inc
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
910
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
200
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
400
Nishika_Sleep_Condor_3rd_Solution.pdf
nishikainc
0
200
[Nishika] Patent_tmsbir_1st Solution
nishikainc
0
480
[Nishika] Patent_TDX_3rd Solution
nishikainc
0
380
[Nishika] Narou_Hi F_1st Solution
nishikainc
0
300
[Nishika] Narou_z Animal_2nd Solution
nishikainc
0
240
202010_Nishika_サービス紹介 / Nishika_Service_Introduction
nishikainc
0
230
Other Decks in Technology
See All in Technology
PLaMo2シリーズのvLLM実装 / PFN LLM セミナー
pfn
PRO
2
1.1k
空間を設計する力を考える / 20251004 Naoki Takahashi
shift_evolve
PRO
4
440
ACA でMAGI システムを社内で展開しようとした話
mappie_kochi
1
310
社内報はAIにやらせよう / Let AI handle the company newsletter
saka2jp
8
1.3k
Where will it converge?
ibknadedeji
0
200
【Kaigi on Rails 事後勉強会LT】MeはどうしてGirlsに? 私とRubyを繋いだRail(s)
joyfrommasara
0
190
そのWAFのブロック、どう活かす? サービスを守るための実践的多層防御と思考法 / WAF blocks defense decision
kaminashi
0
120
実装で解き明かす並行処理の歴史
zozotech
PRO
1
640
Geospatialの世界最前線を探る [2025年版]
dayjournal
0
170
[Keynote] What do you need to know about DevEx in 2025
salaboy
0
140
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
170
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
7
3.2k
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Designing for humans not robots
tammielis
254
26k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Embracing the Ebb and Flow
colly
88
4.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Documentation Writing (for coders)
carmenintech
75
5k
The Cost Of JavaScript in 2023
addyosmani
53
9k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Speed Design
sergeychernyshev
32
1.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
睡眠段階の判定 〜”睡眠の深さを判別しよう”〜 振り返り会 1st place solution チームTYS 2023 年 2
⽉ 28 ⽇
チームメンバー yom § データサイエンティスト § 博⼠(神経科学)2児の⺟ § 機械学習+脳波は初挑戦 h_taki §
博⼠(⼯学)→電⼒分野の技 術者→データサイエンティスト § 睡眠データ経験なし Ryuta 2 § データサイエンティスト § 修⼠研究で睡眠データを利⽤ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
活動タイムライン 序盤 11⽉ - 12⽉ 緩く始める。 各⾃それぞれ好きなことをする。 GBM、CNN(時系列、画像化) 年末年始 Ryuta君が特徴量を作りこんでくれる。
1⽉以降 Ryuta君のGBMでスコアが伸びる。 GBM系に注⼒し、3⼈で分担して検討を進める。 実験管理、CV-LBをチェック。 終盤 PBがなかなか上がらず1位に追いつけない。 CVを信じてチューニング。 → 逆転優勝︕ 3 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量⽣成 学習・予測 前処理 基本的な特徴量⼿法の流れに沿って実装 前処理 約22時間の波形データから睡眠時を中⼼に必要な部分 のみにデータをトリミング 特徴量⽣成 30,60,90秒単位に分割して、前後の情報も踏まえる形 で時間特徴量・周波数特徴量を、作成する。
学習・予測 4 ⽣データ トリミング エポック分割 特徴量⽣成 KFold交差検証 モデル予測 LightGBMを⽤いたKfold交差検証でモデルを作成し、ア ンサンブルしたもので予測を⾏う。 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
サンプル周期が異なることに注意して、⽣データを取得 各種⽣データを取得 EEG、EOG、呼吸、EMG、体温、イベントの信号をそれぞれ取得。 (edfファイルの扱いに、少し⼿間取りました。) 5 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
無駄な情報を含まないようにデータ範囲を絞り込み 睡眠以外の前後のデータも含まれてしまっている。 配られたデータには、睡眠前後の覚醒(W)のデータも多く 含まれており、ラベルの偏りに繋がる。 睡眠ラベルから睡眠前後30分の範囲に絞る ⼿動で睡眠ラベルから前後30分の範囲に絞って、モデルの 学習に使⽤するようにした。 6 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
広い範囲と狭い範囲・前後の情報を活かすように特徴量⽣成 30,60,90秒単位で分割 異なる解像度の特徴量を取得することで、細部と全体の 両⽅の特徴を捉えるようにする。 前後の情報を使⽤ さらに、現在のエポックの情報だけでなく、過去・未来のエ ポックの情報も加えることで、前後関係も捉えるようにする。 前後の使⽤数を増やす ⼯夫点として、30×5、60×2、90×1の使⽤数を 30×11、60×8、90×7に増やした。
7 ⼯夫点1 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Do Not Sleep on Traditional Machine Learning, J Van Der Doncki et al. 2022
時間領域・周波数領域の特徴量を取得 8 機能 EEG EOG 呼吸 EMG 体温 イベント 時間領域
基本特徴量(標準偏差、四分位範囲、歪度、尖度、ゼロ交差数) ✓ ✓ ✓ ✓ ✓ ✓ Hjorth特徴量 ✓ ✓ ✓ ✓ ✓ ✓ フラクタル次元特徴量 ✓ ✓ ✓ ✓ ✓ ✓ エントロピー特徴量 ✓ ✓ ✓ ✓ ✓ ✓ ピーク間隔特徴量 ✓ ✓ ✓ 周波数領域 基本特徴量(スペクトル重⼼、バリアンス、歪度、尖度) ✓ ✓ ビンフーリエエントロピー ✓ ✓ 各周波数帯ごとの特徴量 ✓ ✓ ⼯夫点2 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
時間特徴量 基本特徴量 フラクタル次元など § ヒグチフラクタル次元 § ペトロシアンフラクタル次元 § Hjorth特徴量 ピーク間隔特徴量
9 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Sleep Stage Recognition using Respiration Signal, J Yang et al. 2016
周波数特徴量 窓関数によるSTFT(Short Term Fourier Transformation) 始点と終点を揃えるために、窓関数処理を施してからフーリエ変換を⾏う。 10 ⽬次 メンバー紹介 タイムライン
処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
周波数特徴量 基本特徴量 各周波数帯ごとの特徴量 ビンフーリエエントロピー 11 ⼯夫点3 ⽬次 メンバー紹介 タイムライン 処理フロー
前処理 特徴量⽣成 学習・予測 その他 最終提出
個⼈差・サンプル誤差を考慮して、標準化処理特徴量を追加 PSGのサンプルごとに特徴量を標準化して連結 睡眠には個⼈差があり、さらにデバイスの装着によっても値にばらつきが出るため、サンプルごとの標準化処理により、1サン プル内の変動を捉えるようにする。 12 標準化前 標準化後 ⼯夫点4 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量重要度 EEG関連の特徴量、呼吸間隔特徴量が上位 上位20項⽬の特徴量重要度をまとめたところ、ほとんどがEEG関連の時間・周波数特徴量で標準化された値も含まれる。 また、標準化した呼吸間隔の最⼤値やEMGの標準偏差も上位に⾒られる。 13 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
CVとLBを記録しながら、Kfold交差検証でモデルを検討 Kfold交差検証 W,R,S1,S2,S3/S4の5分類の割合を維持したまま、Kfoldに分割してそれぞれでモデルの予測を⾏い、結果をアンサン ブルしたものを最終的な結果とした。CVの結果とLBの結果の関係も整理して、相関関係があることを確認した。 14 … … データ分割イメージ CVとLBの対応関係 ⽬次
メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
その他に取り組んだこと 画像分類CNN 5値分類×3値分類 後処理 15 § ⿃コンペ(スペクトログラム) § リカレンスプロット ⼯夫点5
⼯夫点6 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 https://www.kaggle.com/code/tigurius/recuplots-and-cnns- for-time-series-classification/notebook
シェイクのリスクを踏まえて、アンサンブルモデルを提出 最終提出 ① 4+4+5のアンサンブル︓0.8516 → 0.8560 ② 4+4のアンサンブル ︓0.8524 →
0.8553 16 逆転優勝︕ だいぶ差がありましたが、、 Public スコア Private スコア ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
ご清聴ありがとうございました。