Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
異常検知パッケージを作ってみたお話 / Create Python package for a...
Search
Kon
June 29, 2018
Programming
0
810
異常検知パッケージを作ってみたお話 / Create Python package for anomaly detection
https://atnd.org/events/96739?k=0a6c00b5543700d21cc9d38d9f2e56f6
Kon
June 29, 2018
Tweet
Share
More Decks by Kon
See All by Kon
Numerai はいいぞ / An encouragement of Numerai
yohrn
0
2.7k
M5 Forecasting 参加報告 / 143rd place solution of M5 Forecasting Accuracy
yohrn
1
1.3k
AutoML はお好きですか? / 8th place solution of AutoWSL 2019
yohrn
1
3.4k
3rd Place Solution of AutoSpeech 2019
yohrn
0
450
自然言語処理初心者が AutoNLP に挑戦した話 / 8th place solution of AutoNLP 2019
yohrn
0
930
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
yohrn
1
3.6k
機械学習の再現性 / Enabling Reproducibility in Machine Learning Workshop
yohrn
9
2.9k
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
yohrn
0
6.9k
35th ICML における異常検知に関する論文紹介 / Deep One-Class Classification
yohrn
0
8.2k
Other Decks in Programming
See All in Programming
CSS Linter による Baseline サポートの仕組み
ryo_manba
1
160
Webフレームワークとともに利用するWeb components / JSConf.jp おかわり
spring_raining
1
120
Go 1.24でジェネリックになった型エイリアスの紹介
syumai
2
300
Honoのおもしろいミドルウェアをみてみよう
yusukebe
1
240
Better Code Design in PHP
afilina
0
180
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
5
1.1k
Ça bouge du côté des animations CSS !
goetter
2
160
Unity Android XR入門
sakutama_11
0
180
15分で学ぶDuckDBの可愛い使い方 DuckDBの最近の更新
notrogue
3
790
ML.NETで始める機械学習
ymd65536
0
240
Bedrock Agentsレスポンス解析によるAgentのOps
licux
3
940
責務と認知負荷を整える! 抽象レベルを意識した関心の分離
yahiru
8
1.5k
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Designing Experiences People Love
moore
140
23k
Adopting Sorbet at Scale
ufuk
75
9.2k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
YesSQL, Process and Tooling at Scale
rocio
172
14k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7.1k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
13
1k
Agile that works and the tools we love
rasmusluckow
328
21k
Transcript
異常検知パッケージを作ってみたお話 Netadashi Meetup #6 Jun 29, 2018
Yu Ohori (a.k.a. Kon) ML Researcher at NSSOL (2017-) •
semi-supervised learning • anomaly detection PyCon JP Staff (2018-) @Y_oHr_N @Y-oHr-N 2
我々は通常と異なる挙動(異常)に関心がある サーバに対する不正アクセス (intrusion detection) クレジットカードの不正利用 (fraud detection) 医療誤診 (medical anomaly
detection) 設備故障 (industrial damage detection) 3
4 異常は大きく 3 種類に分けられる Chandola, V., et al., "Anomaly detection:
A survey," ACM computing surveys, 41(3), 2009. point anomaly contextual anomaly collective anomaly
kenchi is a scikit-learn compatible library for anomaly detection 5
https://github.com/HazureChi/kenchi
これからのお話 異常検知パッケージ kenchi について 開発時に利用した サービスについて 6
7 https://github.com/scikit-learn-contrib/project-template 利用サービス一覧 Travis CI Coveralls Read the Docs AppVeyor
Code Climate Anaconda Cloud binder GitHub PyPI build push, pull request upload hook
GitHub ソースコードをホスティングするサービス • Issue, Label, MileStone で進捗管理 • Redmine? JIRA?
知らない子ですね 8
Travis CI Linux, macOS に対応した CI サービス push, pull request
時に hook で起動 • テストに失敗すると通知 • Coveralls を起動 9
AppVeyor Windows に対応した CI サービス push, pull request 時に hook
で起動 • テスト,ビルドに失敗すると通知 10
Coveralls テストカバレッジを計測するサービス(16 言語対応) • 最近は Codecov が優勢? push, pull request
時に Travis CI から起動 11
Code Climate ソースコードの品質を検査するサービス(8 言語対応) • テストカバレッジを計測可能 • PEP8, Radon プラグインの追加を推奨
push, pull request 時に hook で起動 12
Read the Docs Sphinx ドキュメントをホスティングするサービス push, pull request 時に hook
で起動 • ドキュメントのビルドを実行 13
PyPI Python パッケージを管理するサービス $ python setup.py sdist bdist_wheel $ twine
upload dist/* $ pip install <package> 14 https://packaging.python.org/tutorials/packaging-projects/
Anaconda Cloud Python パッケージや環境の諸々を管理するサービス $ conda skelton pypi <package> $
conda build <package> $ anaconda login $ anaconda upload \ > ~/miniconda/conda-bld/<platform>/kenchi-<version>-<pyversion>.tar.bz2 $ conda install -c <channel> <package> 15 https://conda.io/docs/user-guide/tutorials/build-pkgs-skeleton.html
binder Git リポジトリから Jupyter サーバを構築するサービス https://mybinder.org/v2/gh/<org-name>/<repo-name>/<branch|tag|hash-name>?filepath=<path-to-file> • Project Jupyter が
2016 年にリリース • 誰でも,いつでも,どこでも,環境を再現可能 • 内部で repo2docker を利用 16 Freeman J., and Osheroff, A., "Toward publishing reproducible computation with binder," eLife, 2016.