Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nishika_Sleep_TYS_1st_Solution.pdf
Search
Nishika-Inc
March 06, 2023
Technology
0
190
Nishika_Sleep_TYS_1st_Solution.pdf
Nishika-Inc
March 06, 2023
Tweet
Share
More Decks by Nishika-Inc
See All by Nishika-Inc
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
520
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
170
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
340
Nishika_Sleep_Condor_3rd_Solution.pdf
nishikainc
0
160
[Nishika] Patent_tmsbir_1st Solution
nishikainc
0
450
[Nishika] Patent_TDX_3rd Solution
nishikainc
0
360
[Nishika] Narou_Hi F_1st Solution
nishikainc
0
270
[Nishika] Narou_z Animal_2nd Solution
nishikainc
0
220
202010_Nishika_サービス紹介 / Nishika_Service_Introduction
nishikainc
0
210
Other Decks in Technology
See All in Technology
例外処理を理解して、設計段階からエラーを「見つけやすく」「起こりにくく」する
kajitack
12
3.7k
ソフトウェアアーキテクトのための意思決定術: Software Architecture and Decision-Making
snoozer05
PRO
17
4k
HCP TerraformとAzure:イオンスマートテクノロジーのインフラ革新 / HCP Terraform and Azure AEON Smart Technology's Infrastructure Innovation
aeonpeople
3
980
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
pei0804
3
800
攻撃者の視点で社内リソースはどう見えるのかを ASMで実現する
hikaruegashira
4
2.1k
NOSTR, réseau social et espace de liberté décentralisé
rlifchitz
0
130
Women in Agile
kawaguti
PRO
2
170
private spaceについてあれこれ調べてみた
operando
1
160
サーバーレスで楽しよう!お気軽に始められる3つのポイント / Have fun with Serverless!
_kensh
2
220
[2024年10月版] Notebook 2.0のご紹介 / Notebook2.0
databricksjapan
0
1.4k
エラーバジェット枯渇の原因 - 偽陽性との戦い -
phaya72
1
100
Server Side Swift 実践レポート: 2024年に案件で採用して見えた課題と可能性
yusuga
1
410
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
A Tale of Four Properties
chriscoyier
157
23k
Writing Fast Ruby
sferik
628
61k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
11
900
VelocityConf: Rendering Performance Case Studies
addyosmani
327
24k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Into the Great Unknown - MozCon
thekraken
34
1.6k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
3k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Transcript
睡眠段階の判定 〜”睡眠の深さを判別しよう”〜 振り返り会 1st place solution チームTYS 2023 年 2
⽉ 28 ⽇
チームメンバー yom § データサイエンティスト § 博⼠(神経科学)2児の⺟ § 機械学習+脳波は初挑戦 h_taki §
博⼠(⼯学)→電⼒分野の技 術者→データサイエンティスト § 睡眠データ経験なし Ryuta 2 § データサイエンティスト § 修⼠研究で睡眠データを利⽤ ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
活動タイムライン 序盤 11⽉ - 12⽉ 緩く始める。 各⾃それぞれ好きなことをする。 GBM、CNN(時系列、画像化) 年末年始 Ryuta君が特徴量を作りこんでくれる。
1⽉以降 Ryuta君のGBMでスコアが伸びる。 GBM系に注⼒し、3⼈で分担して検討を進める。 実験管理、CV-LBをチェック。 終盤 PBがなかなか上がらず1位に追いつけない。 CVを信じてチューニング。 → 逆転優勝︕ 3 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量⽣成 学習・予測 前処理 基本的な特徴量⼿法の流れに沿って実装 前処理 約22時間の波形データから睡眠時を中⼼に必要な部分 のみにデータをトリミング 特徴量⽣成 30,60,90秒単位に分割して、前後の情報も踏まえる形 で時間特徴量・周波数特徴量を、作成する。
学習・予測 4 ⽣データ トリミング エポック分割 特徴量⽣成 KFold交差検証 モデル予測 LightGBMを⽤いたKfold交差検証でモデルを作成し、ア ンサンブルしたもので予測を⾏う。 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
サンプル周期が異なることに注意して、⽣データを取得 各種⽣データを取得 EEG、EOG、呼吸、EMG、体温、イベントの信号をそれぞれ取得。 (edfファイルの扱いに、少し⼿間取りました。) 5 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
無駄な情報を含まないようにデータ範囲を絞り込み 睡眠以外の前後のデータも含まれてしまっている。 配られたデータには、睡眠前後の覚醒(W)のデータも多く 含まれており、ラベルの偏りに繋がる。 睡眠ラベルから睡眠前後30分の範囲に絞る ⼿動で睡眠ラベルから前後30分の範囲に絞って、モデルの 学習に使⽤するようにした。 6 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
広い範囲と狭い範囲・前後の情報を活かすように特徴量⽣成 30,60,90秒単位で分割 異なる解像度の特徴量を取得することで、細部と全体の 両⽅の特徴を捉えるようにする。 前後の情報を使⽤ さらに、現在のエポックの情報だけでなく、過去・未来のエ ポックの情報も加えることで、前後関係も捉えるようにする。 前後の使⽤数を増やす ⼯夫点として、30×5、60×2、90×1の使⽤数を 30×11、60×8、90×7に増やした。
7 ⼯夫点1 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Do Not Sleep on Traditional Machine Learning, J Van Der Doncki et al. 2022
時間領域・周波数領域の特徴量を取得 8 機能 EEG EOG 呼吸 EMG 体温 イベント 時間領域
基本特徴量(標準偏差、四分位範囲、歪度、尖度、ゼロ交差数) ✓ ✓ ✓ ✓ ✓ ✓ Hjorth特徴量 ✓ ✓ ✓ ✓ ✓ ✓ フラクタル次元特徴量 ✓ ✓ ✓ ✓ ✓ ✓ エントロピー特徴量 ✓ ✓ ✓ ✓ ✓ ✓ ピーク間隔特徴量 ✓ ✓ ✓ 周波数領域 基本特徴量(スペクトル重⼼、バリアンス、歪度、尖度) ✓ ✓ ビンフーリエエントロピー ✓ ✓ 各周波数帯ごとの特徴量 ✓ ✓ ⼯夫点2 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
時間特徴量 基本特徴量 フラクタル次元など § ヒグチフラクタル次元 § ペトロシアンフラクタル次元 § Hjorth特徴量 ピーク間隔特徴量
9 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 Sleep Stage Recognition using Respiration Signal, J Yang et al. 2016
周波数特徴量 窓関数によるSTFT(Short Term Fourier Transformation) 始点と終点を揃えるために、窓関数処理を施してからフーリエ変換を⾏う。 10 ⽬次 メンバー紹介 タイムライン
処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
周波数特徴量 基本特徴量 各周波数帯ごとの特徴量 ビンフーリエエントロピー 11 ⼯夫点3 ⽬次 メンバー紹介 タイムライン 処理フロー
前処理 特徴量⽣成 学習・予測 その他 最終提出
個⼈差・サンプル誤差を考慮して、標準化処理特徴量を追加 PSGのサンプルごとに特徴量を標準化して連結 睡眠には個⼈差があり、さらにデバイスの装着によっても値にばらつきが出るため、サンプルごとの標準化処理により、1サン プル内の変動を捉えるようにする。 12 標準化前 標準化後 ⼯夫点4 ⽬次 メンバー紹介
タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
特徴量重要度 EEG関連の特徴量、呼吸間隔特徴量が上位 上位20項⽬の特徴量重要度をまとめたところ、ほとんどがEEG関連の時間・周波数特徴量で標準化された値も含まれる。 また、標準化した呼吸間隔の最⼤値やEMGの標準偏差も上位に⾒られる。 13 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理
特徴量⽣成 学習・予測 その他 最終提出
CVとLBを記録しながら、Kfold交差検証でモデルを検討 Kfold交差検証 W,R,S1,S2,S3/S4の5分類の割合を維持したまま、Kfoldに分割してそれぞれでモデルの予測を⾏い、結果をアンサン ブルしたものを最終的な結果とした。CVの結果とLBの結果の関係も整理して、相関関係があることを確認した。 14 … … データ分割イメージ CVとLBの対応関係 ⽬次
メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
その他に取り組んだこと 画像分類CNN 5値分類×3値分類 後処理 15 § ⿃コンペ(スペクトログラム) § リカレンスプロット ⼯夫点5
⼯夫点6 ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出 https://www.kaggle.com/code/tigurius/recuplots-and-cnns- for-time-series-classification/notebook
シェイクのリスクを踏まえて、アンサンブルモデルを提出 最終提出 ① 4+4+5のアンサンブル︓0.8516 → 0.8560 ② 4+4のアンサンブル ︓0.8524 →
0.8553 16 逆転優勝︕ だいぶ差がありましたが、、 Public スコア Private スコア ⽬次 メンバー紹介 タイムライン 処理フロー 前処理 特徴量⽣成 学習・予測 その他 最終提出
ご清聴ありがとうございました。