Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
Search
Kon
July 19, 2019
Science
1
3.5k
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
https://data-engineering.connpass.com/event/136756/
Kon
July 19, 2019
Tweet
Share
More Decks by Kon
See All by Kon
Numerai はいいぞ / An encouragement of Numerai
yohrn
0
2.4k
M5 Forecasting 参加報告 / 143rd place solution of M5 Forecasting Accuracy
yohrn
1
1.2k
AutoML はお好きですか? / 8th place solution of AutoWSL 2019
yohrn
1
3.2k
3rd Place Solution of AutoSpeech 2019
yohrn
0
380
自然言語処理初心者が AutoNLP に挑戦した話 / 8th place solution of AutoNLP 2019
yohrn
0
830
機械学習の再現性 / Enabling Reproducibility in Machine Learning Workshop
yohrn
9
2.8k
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
yohrn
0
6.4k
35th ICML における異常検知に関する論文紹介 / Deep One-Class Classification
yohrn
0
7.1k
機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops
yohrn
6
2.5k
Other Decks in Science
See All in Science
Ph.D. defense "Convex Manifold Approximation for Tensors"
gkazunii
0
180
O ChatGPT e outras IAs vão mudar toda a pesquisa científica
cardososampaio
0
170
2023-07-18_Verge_Genomics
lcolladotor
0
110
(Forkwell Library #48)『詳解 インシデントレスポンス』で学び倒すブルーチーム技術
scientia
2
930
Mastering Feature Engineering: Mining the Hidden Salary Formula with CakeResume
tlyu0419
0
130
Machine Learning for Materials (Lecture 1)
aronwalsh
1
1.5k
「みんなの自然災害伝承碑」ワークショップ 2023|日本地図学会
fullfull
0
210
20240420 Global Azure 2024 | Azure Migrate でデータセンターのサーバーを評価&移行してみる
olivia_0707
2
540
Machine Learning for Materials (Lecture 6)
aronwalsh
0
420
Demucsを用いた音源分離
508shuto
0
190
【論文紹介】DocTr_ Document Transformer for Structured Information Extraction in Documents / iccv2023-doctr
yuya4
3
580
『データ可視化学入門』を PythonからRに翻訳した話
bob3bob3
1
360
Featured
See All Featured
A Tale of Four Properties
chriscoyier
151
22k
4 Signs Your Business is Dying
shpigford
175
21k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Side Projects
sachag
451
41k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Web development in the modern age
philhawksworth
202
10k
The Invisible Side of Design
smashingmag
294
49k
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Fantastic passwords and where to find them - at NoRuKo
philnash
37
2.5k
Transcript
AutoML パッケージの開発を円滑に進めたい データと ML 周辺エンジニアリングを考える会 #2 Jul 19, 2019
Yu Ohori (a.k.a. Kon) NS Solutions Corporation (Apr 2017 -
) • Researcher • Data Science & Infrastructure Technologies • System Research & Development Center • Technology Bureau @Y_oHr_N @Y-oHr-N #SemiSupervisedLearning #AnomalyDetection #DataOps
約 3 ヶ月,同僚 3 名と以下の大会に参加した April 1, 2019 - July
20, 2019 3 任意のデータセットに対 する予測精度を競う大会 https://www.4paradigm.com/competition/kddcup2019
何故参加したか? AutoML 周辺技術の調査 開発力強化 案件利用 4
本大会の内容は? 入力 • 5 つの表形式データセット • スキーマ,関係等が記載されたファイル(右図) 提出物 • 学習,予測を行うコード
制約 • 計算資源:4 vCPUs (16 GB Memory) • 計算時間:数十分程度 評価指標 • AUROC 5
本大会の課題は? 時系列データの扱い • data leak を予防する方法は? • concept drift に対応する方法は?
複数表の扱い • 一対多,多対多で結ばれる表を結合する方法は? 4 つの型の扱い • cat 型を num 型に変換する方法は? • multi-cat 型を num 型に変換する方法は? • time 型を num 型に変換する方法は? 6
Concept drift とは? データを生成する確率分布が時間経過で変化する現象 • cat 型の場合,新規カテゴリの出現が相当 7 Gama, J.,
et al., "A survey on concept drift adaptation," ACM CSUR, 46(4), p. 44, 2014.
結果は? 計算時間超過で失格… 通過チームは 31/161 パッケージの内容は 懇親会でお話します 8
開発中,問題になったことは? コードが煩雑で,予測精度が低下した際にバグを特定できない 9
どうやってこれらの問題を解決したか? Codecov カバレッジを記録 CircleCI テストを実行 Comet.ml 学習結果を記録 開発者 変更を push/PR
GitHub 外部サービスに通知 テスト及び CV スコアの監視を継続的に行い,バグの混入を早急に察知する 10
何故これらのサービスを採用したか? 環境構築の手間を削減できるため • mlflow は自身でサーバを構築する必要がある private リポジトリに無料利用できるため • Travis CI
は課金する必要がある • Code Climate は private リポジトリに利用できない 11
何を学習結果として記録したか? • commit ID • ブランチ名 • 実行日時 • 計算時間
• 標準出力 • 依存関係 • 学習曲線 • CV スコア • ベストパラメータ • 等 12