Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
Search
Kon
July 19, 2019
Science
1
3.5k
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
https://data-engineering.connpass.com/event/136756/
Kon
July 19, 2019
Tweet
Share
More Decks by Kon
See All by Kon
Numerai はいいぞ / An encouragement of Numerai
yohrn
0
2.5k
M5 Forecasting 参加報告 / 143rd place solution of M5 Forecasting Accuracy
yohrn
1
1.2k
AutoML はお好きですか? / 8th place solution of AutoWSL 2019
yohrn
1
3.2k
3rd Place Solution of AutoSpeech 2019
yohrn
0
400
自然言語処理初心者が AutoNLP に挑戦した話 / 8th place solution of AutoNLP 2019
yohrn
0
860
機械学習の再現性 / Enabling Reproducibility in Machine Learning Workshop
yohrn
9
2.9k
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
yohrn
0
6.5k
35th ICML における異常検知に関する論文紹介 / Deep One-Class Classification
yohrn
0
7.4k
機械学習の公平性と解釈可能性 / Fairness, Interpretability, and Explainability Federation of Workshops
yohrn
6
2.5k
Other Decks in Science
See All in Science
(Forkwell Library #48)『詳解 インシデントレスポンス』で学び倒すブルーチーム技術
scientia
2
1.2k
Machine Learning for Materials (Lecture 2)
aronwalsh
0
640
Celebrate UTIG: Staff and Student Awards 2024
utig
0
200
名古屋市立大学データサイエンス学部 秋のオープンキャンパス模擬授業20231111
trycycle
0
4k
Презентация программы магистратуры СПбГУ "Искусственный интеллект и наука о данных"
dscs
0
210
作業領域内の障害物を回避可能なバイナリマニピュレータの設計 / Design of binary manipulator avoiding obstacles in workspace
konakalab
0
120
拡散モデルの原理紹介
brainpadpr
3
3.3k
「国と音楽」 ~spotifyrを用いて~ #muana
bob3bob3
2
390
All-in-One Bioinformatics Platform Realized with Snowflake ~ From In Silico Drug Discovery, Disease Variant Analysis, to Single-Cell RNA-seq
ktatsuya
0
120
The Incredible Machine: Developer Productivity and the Impact of AI
tomzimmermann
0
270
The thin line between reconstruction, classification, and hallucination in brain decoding
ykamit
1
430
TellusTravelerでダウンロードしたSARデータで遊んでみた話
mierune
PRO
0
190
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
Making Projects Easy
brettharned
111
5.7k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Creatively Recalculating Your Daily Design Routine
revolveconf
214
11k
Rails Girls Zürich Keynote
gr2m
93
13k
Six Lessons from altMBA
skipperchong
24
3.2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Embracing the Ebb and Flow
colly
81
4.3k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Transcript
AutoML パッケージの開発を円滑に進めたい データと ML 周辺エンジニアリングを考える会 #2 Jul 19, 2019
Yu Ohori (a.k.a. Kon) NS Solutions Corporation (Apr 2017 -
) • Researcher • Data Science & Infrastructure Technologies • System Research & Development Center • Technology Bureau @Y_oHr_N @Y-oHr-N #SemiSupervisedLearning #AnomalyDetection #DataOps
約 3 ヶ月,同僚 3 名と以下の大会に参加した April 1, 2019 - July
20, 2019 3 任意のデータセットに対 する予測精度を競う大会 https://www.4paradigm.com/competition/kddcup2019
何故参加したか? AutoML 周辺技術の調査 開発力強化 案件利用 4
本大会の内容は? 入力 • 5 つの表形式データセット • スキーマ,関係等が記載されたファイル(右図) 提出物 • 学習,予測を行うコード
制約 • 計算資源:4 vCPUs (16 GB Memory) • 計算時間:数十分程度 評価指標 • AUROC 5
本大会の課題は? 時系列データの扱い • data leak を予防する方法は? • concept drift に対応する方法は?
複数表の扱い • 一対多,多対多で結ばれる表を結合する方法は? 4 つの型の扱い • cat 型を num 型に変換する方法は? • multi-cat 型を num 型に変換する方法は? • time 型を num 型に変換する方法は? 6
Concept drift とは? データを生成する確率分布が時間経過で変化する現象 • cat 型の場合,新規カテゴリの出現が相当 7 Gama, J.,
et al., "A survey on concept drift adaptation," ACM CSUR, 46(4), p. 44, 2014.
結果は? 計算時間超過で失格… 通過チームは 31/161 パッケージの内容は 懇親会でお話します 8
開発中,問題になったことは? コードが煩雑で,予測精度が低下した際にバグを特定できない 9
どうやってこれらの問題を解決したか? Codecov カバレッジを記録 CircleCI テストを実行 Comet.ml 学習結果を記録 開発者 変更を push/PR
GitHub 外部サービスに通知 テスト及び CV スコアの監視を継続的に行い,バグの混入を早急に察知する 10
何故これらのサービスを採用したか? 環境構築の手間を削減できるため • mlflow は自身でサーバを構築する必要がある private リポジトリに無料利用できるため • Travis CI
は課金する必要がある • Code Climate は private リポジトリに利用できない 11
何を学習結果として記録したか? • commit ID • ブランチ名 • 実行日時 • 計算時間
• 標準出力 • 依存関係 • 学習曲線 • CV スコア • ベストパラメータ • 等 12