Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
異常検知パッケージを作ってみたお話 / Create Python package for anomaly detection
Search
Kon
June 29, 2018
Programming
0
730
異常検知パッケージを作ってみたお話 / Create Python package for anomaly detection
https://atnd.org/events/96739?k=0a6c00b5543700d21cc9d38d9f2e56f6
Kon
June 29, 2018
Tweet
Share
More Decks by Kon
See All by Kon
Numerai はいいぞ / An encouragement of Numerai
yohrn
0
2.4k
M5 Forecasting 参加報告 / 143rd place solution of M5 Forecasting Accuracy
yohrn
1
1.2k
AutoML はお好きですか? / 8th place solution of AutoWSL 2019
yohrn
1
3.2k
3rd Place Solution of AutoSpeech 2019
yohrn
0
380
自然言語処理初心者が AutoNLP に挑戦した話 / 8th place solution of AutoNLP 2019
yohrn
0
830
AutoML パッケージの開発を円滑に進めたい / How to develop AutoML package
yohrn
1
3.5k
機械学習の再現性 / Enabling Reproducibility in Machine Learning Workshop
yohrn
9
2.8k
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
yohrn
0
6.4k
35th ICML における異常検知に関する論文紹介 / Deep One-Class Classification
yohrn
0
7.1k
Other Decks in Programming
See All in Programming
Hanami and htmx
bkuhlmann
0
200
Semantic search with Django and pgvector
pauloxnet
0
240
Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets
hollycummins
0
230
What We Can Learn From OSS
inouehi
0
420
Prepare for Jakarta EE 11 - Performance and Developer Productivity
ivargrimstad
0
670
GitHub Actionsで泣かないためにやっておきたい設定 / Recommended GHA settings to avoid crying
pinkumohikan
3
520
GitHub Copilotのススメ
marcy731
0
190
Code Reviews
bkuhlmann
4
890
Azure OpenAI Serviceのプロンプトエンジニアリング入門
tomokusaba
3
620
二郎系ラーメンのコールで学ぶ AST 解析
memory1994
PRO
7
1.7k
スキーマ駆動開発による品質とスピードの両立 - 私達は何故、スキーマを書くのか
kentaroutakeda
0
160
Front-end application development, Symfony-style(s)
dunglas
2
1.9k
Featured
See All Featured
In The Pink: A Labor of Love
frogandcode
138
21k
How STYLIGHT went responsive
nonsquared
92
4.8k
Building Flexible Design Systems
yeseniaperezcruz
318
37k
Faster Mobile Websites
deanohume
298
30k
Navigating Team Friction
lara
177
13k
RailsConf 2023
tenderlove
2
530
Visualization
eitanlees
135
14k
The Cult of Friendly URLs
andyhume
74
5.7k
What's in a price? How to price your products and services
michaelherold
237
11k
Bootstrapping a Software Product
garrettdimon
PRO
301
110k
Docker and Python
trallard
33
2.7k
Building Adaptive Systems
keathley
30
1.9k
Transcript
異常検知パッケージを作ってみたお話 Netadashi Meetup #6 Jun 29, 2018
Yu Ohori (a.k.a. Kon) ML Researcher at NSSOL (2017-) •
semi-supervised learning • anomaly detection PyCon JP Staff (2018-) @Y_oHr_N @Y-oHr-N 2
我々は通常と異なる挙動(異常)に関心がある サーバに対する不正アクセス (intrusion detection) クレジットカードの不正利用 (fraud detection) 医療誤診 (medical anomaly
detection) 設備故障 (industrial damage detection) 3
4 異常は大きく 3 種類に分けられる Chandola, V., et al., "Anomaly detection:
A survey," ACM computing surveys, 41(3), 2009. point anomaly contextual anomaly collective anomaly
kenchi is a scikit-learn compatible library for anomaly detection 5
https://github.com/HazureChi/kenchi
これからのお話 異常検知パッケージ kenchi について 開発時に利用した サービスについて 6
7 https://github.com/scikit-learn-contrib/project-template 利用サービス一覧 Travis CI Coveralls Read the Docs AppVeyor
Code Climate Anaconda Cloud binder GitHub PyPI build push, pull request upload hook
GitHub ソースコードをホスティングするサービス • Issue, Label, MileStone で進捗管理 • Redmine? JIRA?
知らない子ですね 8
Travis CI Linux, macOS に対応した CI サービス push, pull request
時に hook で起動 • テストに失敗すると通知 • Coveralls を起動 9
AppVeyor Windows に対応した CI サービス push, pull request 時に hook
で起動 • テスト,ビルドに失敗すると通知 10
Coveralls テストカバレッジを計測するサービス(16 言語対応) • 最近は Codecov が優勢? push, pull request
時に Travis CI から起動 11
Code Climate ソースコードの品質を検査するサービス(8 言語対応) • テストカバレッジを計測可能 • PEP8, Radon プラグインの追加を推奨
push, pull request 時に hook で起動 12
Read the Docs Sphinx ドキュメントをホスティングするサービス push, pull request 時に hook
で起動 • ドキュメントのビルドを実行 13
PyPI Python パッケージを管理するサービス $ python setup.py sdist bdist_wheel $ twine
upload dist/* $ pip install <package> 14 https://packaging.python.org/tutorials/packaging-projects/
Anaconda Cloud Python パッケージや環境の諸々を管理するサービス $ conda skelton pypi <package> $
conda build <package> $ anaconda login $ anaconda upload \ > ~/miniconda/conda-bld/<platform>/kenchi-<version>-<pyversion>.tar.bz2 $ conda install -c <channel> <package> 15 https://conda.io/docs/user-guide/tutorials/build-pkgs-skeleton.html
binder Git リポジトリから Jupyter サーバを構築するサービス https://mybinder.org/v2/gh/<org-name>/<repo-name>/<branch|tag|hash-name>?filepath=<path-to-file> • Project Jupyter が
2016 年にリリース • 誰でも,いつでも,どこでも,環境を再現可能 • 内部で repo2docker を利用 16 Freeman J., and Osheroff, A., "Toward publishing reproducible computation with binder," eLife, 2016.