Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nishika_Sleep_TYS_1st_Solution.pdf
Search
Nishika-Inc
March 06, 2023
Technology
0
180
Nishika_Sleep_TYS_1st_Solution.pdf
Nishika-Inc
March 06, 2023
Tweet
Share
More Decks by Nishika-Inc
See All by Nishika-Inc
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
490
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
160
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
340
Nishika_Sleep_Condor_3rd_Solution.pdf
nishikainc
0
160
[Nishika] Patent_tmsbir_1st Solution
nishikainc
0
440
[Nishika] Patent_TDX_3rd Solution
nishikainc
0
350
[Nishika] Narou_Hi F_1st Solution
nishikainc
0
270
[Nishika] Narou_z Animal_2nd Solution
nishikainc
0
220
202010_Nishika_サービス紹介 / Nishika_Service_Introduction
nishikainc
0
210
Other Decks in Technology
See All in Technology
デジタルアイデンティティ人材育成推進ワーキンググループ 翻訳サブワーキンググループ 活動報告 / 20250114-OIDF-J-EduWG-TranslationSWG
oidfj
0
330
Unlearn Product Development - Unleashed Edition
lemiorhan
PRO
2
170
12 Days of OpenAIから読み解く、生成AI 2025年のトレンド
shunsukeono_am
0
1.1k
ソフトウェア開発における「パーフェクトな意思決定」/Perfect Decision-Making in Software Development
yayoi_dd
2
2.7k
アジャイルチームが変化し続けるための組織文化とマネジメント・アプローチ / Agile management that enables ever-changing teams
kakehashi
3
2.9k
LangGraphとFlaskを用いた社内資料検索ボットの実装②Retriever構築編
aoikumadaki
0
100
SpiderPlus & Co. エンジニア向け会社紹介資料
spiderplus_cb
0
640
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
1
5k
Bring Your Own Container: When Containers Turn the Key to EDR Bypass/byoc-avtokyo2024
tkmru
0
740
Accessibility Inspectorを活用した アプリのアクセシビリティ向上方法
hinakko
0
140
2025年のARグラスの潮流
kotauchisunsun
0
720
10年もののバグを退治した話
n_seki
0
150
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
32
6.4k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Building Adaptive Systems
keathley
38
2.3k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
230
How to Think Like a Performance Engineer
csswizardry
22
1.3k
Thoughts on Productivity
jonyablonski
68
4.4k
What's in a price? How to price your products and services
michaelherold
244
12k
Building an army of robots
kneath
302
44k
We Have a Design System, Now What?
morganepeng
51
7.3k
Making the Leap to Tech Lead
cromwellryan
133
9k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Transcript
睡眠段階の判定 〜”睡眠の深さを判別しよう”〜 振り返り会 1st place solution チームTYS 2023 年 2
⽉ 28 ⽇
チームメンバー yom § データサイエンティスト § 博⼠(神経科学)2児の⺟ § 機械学習+脳波は初挑戦 h_taki §
博⼠(⼯学)→電⼒分野の技 術者→データサイエンティスト § 睡眠データ経験なし Ryuta 2 § データサイエンティスト § 修⼠研究で睡眠データを利⽤ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
活動タイムライン 序盤 11⽉ - 12⽉ 緩く始める。 各⾃それぞれ好きなことをする。 GBM、CNN(時系列、画像化) 年末年始 Ryuta君が特徴量を作りこんでくれる。
1⽉以降 Ryuta君のGBMでスコアが伸びる。 GBM系に注⼒し、3⼈で分担して検討を進める。 実験管理、CV-LBをチェック。 終盤 PBがなかなか上がらず1位に追いつけない。 CVを信じてチューニング。 → 逆転優勝︕ 3 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量⽣成 学習・予測 前処理 基本的な特徴量⼿法の流れに沿って実装 前処理 約22時間の波形データから睡眠時を中⼼に必要な部分 のみにデータをトリミング 特徴量⽣成 30,60,90秒単位に分割して、前後の情報も踏まえる形 で時間特徴量・周波数特徴量を、作成する。
学習・予測 4 ⽣データ トリミング エポック分割 特徴量⽣成 KFold交差検証 モデル予測 LightGBMを⽤いたKfold交差検証でモデルを作成し、ア ンサンブルしたもので予測を⾏う。 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
サンプル周期が異なることに注意して、⽣データを取得 各種⽣データを取得 EEG、EOG、呼吸、EMG、体温、イベントの信号をそれぞれ取得。 (edfファイルの扱いに、少し⼿間取りました。) 5 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
無駄な情報を含まないようにデータ範囲を絞り込み 睡眠以外の前後のデータも含まれてしまっている。 配られたデータには、睡眠前後の覚醒(W)のデータも多く 含まれており、ラベルの偏りに繋がる。 睡眠ラベルから睡眠前後30分の範囲に絞る ⼿動で睡眠ラベルから前後30分の範囲に絞って、モデルの 学習に使⽤するようにした。 6 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
広い範囲と狭い範囲・前後の情報を活かすように特徴量⽣成 30,60,90秒単位で分割 異なる解像度の特徴量を取得することで、細部と全体の 両⽅の特徴を捉えるようにする。 前後の情報を使⽤ さらに、現在のエポックの情報だけでなく、過去・未来のエ ポックの情報も加えることで、前後関係も捉えるようにする。 前後の使⽤数を増やす ⼯夫点として、30×5、60×2、90×1の使⽤数を 30×11、60×8、90×7に増やした。
7 ⼯夫点1 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Do Not Sleep on Traditional Machine Learning, J Van Der Doncki et al. 2022
時間領域・周波数領域の特徴量を取得 8 機能 EEG EOG 呼吸 EMG 体温 イベント 時間領域
基本特徴量(標準偏差、四分位範囲、歪度、尖度、ゼロ交差数) ✓ ✓ ✓ ✓ ✓ ✓ Hjorth特徴量 ✓ ✓ ✓ ✓ ✓ ✓ フラクタル次元特徴量 ✓ ✓ ✓ ✓ ✓ ✓ エントロピー特徴量 ✓ ✓ ✓ ✓ ✓ ✓ ピーク間隔特徴量 ✓ ✓ ✓ 周波数領域 基本特徴量(スペクトル重⼼、バリアンス、歪度、尖度) ✓ ✓ ビンフーリエエントロピー ✓ ✓ 各周波数帯ごとの特徴量 ✓ ✓ ⼯夫点2 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
時間特徴量 基本特徴量 フラクタル次元など § ヒグチフラクタル次元 § ペトロシアンフラクタル次元 § Hjorth特徴量 ピーク間隔特徴量
9 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Sleep Stage Recognition using Respiration Signal, J Yang et al. 2016
周波数特徴量 窓関数によるSTFT(Short Term Fourier Transformation) 始点と終点を揃えるために、窓関数処理を施してからフーリエ変換を⾏う。 10 ⽬次 メンバー紹介 タイムライン
処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
周波数特徴量 基本特徴量 各周波数帯ごとの特徴量 ビンフーリエエントロピー 11 ⼯夫点3 ⽬次 メンバー紹介 タイムライン 処理フロー
前処理 特徴量⽣成 学習・予測 その他 最終提出
個⼈差・サンプル誤差を考慮して、標準化処理特徴量を追加 PSGのサンプルごとに特徴量を標準化して連結 睡眠には個⼈差があり、さらにデバイスの装着によっても値にばらつきが出るため、サンプルごとの標準化処理により、1サン プル内の変動を捉えるようにする。 12 標準化前 標準化後 ⼯夫点4 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量重要度 EEG関連の特徴量、呼吸間隔特徴量が上位 上位20項⽬の特徴量重要度をまとめたところ、ほとんどがEEG関連の時間・周波数特徴量で標準化された値も含まれる。 また、標準化した呼吸間隔の最⼤値やEMGの標準偏差も上位に⾒られる。 13 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
CVとLBを記録しながら、Kfold交差検証でモデルを検討 Kfold交差検証 W,R,S1,S2,S3/S4の5分類の割合を維持したまま、Kfoldに分割してそれぞれでモデルの予測を⾏い、結果をアンサン ブルしたものを最終的な結果とした。CVの結果とLBの結果の関係も整理して、相関関係があることを確認した。 14 … … データ分割イメージ CVとLBの対応関係 ⽬次
メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
その他に取り組んだこと 画像分類CNN 5値分類×3値分類 後処理 15 § ⿃コンペ(スペクトログラム) § リカレンスプロット ⼯夫点5
⼯夫点6 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 https://www.kaggle.com/code/tigurius/recuplots-and-cnns- for-time-series-classification/notebook
シェイクのリスクを踏まえて、アンサンブルモデルを提出 最終提出 ① 4+4+5のアンサンブル︓0.8516 → 0.8560 ② 4+4のアンサンブル ︓0.8524 →
0.8553 16 逆転優勝︕ だいぶ差がありましたが、、 Public スコア Private スコア ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
ご清聴ありがとうございました。