Slide 1
Slide 1 text
Поиск аномалий
iForest и PCA
Slide 2
Slide 2 text
Обо мне
● Старший специалист по машинному
обучению
● deep learning engineer
● NLP, CV, anomaly detection
● Open source contributor
● Выпускник и амбассадор Яндекс
Практикума
● Выпускник DLS ФПМИ МФТИ
Slide 3
Slide 3 text
Аномалии
Slide 4
Slide 4 text
Применение
Slide 5
Slide 5 text
Применение
Slide 6
Slide 6 text
Применение
Slide 7
Slide 7 text
Применение
Slide 8
Slide 8 text
Этапы
Slide 9
Slide 9 text
Этапы
Slide 10
Slide 10 text
Применение
Slide 11
Slide 11 text
Сбор данных
Slide 12
Slide 12 text
попугаи удавы
3.248357 -2.874754
2.930868 -2.826776
3.323844 -3.340012
3.761515 -2.883873
2.882923 -2.853464
2.882932 -3.357176
3.789606 -2.067113
… …
Slide 13
Slide 13 text
попугаи удавы
3.248357 -2.874754
2.930868 -2.826776
3.323844 -3.340012
3.761515 -2.883873
2.882923 -2.853464
2.882932 -3.357176
3.789606 -2.067113
… …
индекс аномальности
-0.119150
-0.131275
-0.108670
-0.065472
-0.128972
-0.120056
-0.012170
…
Slide 14
Slide 14 text
Методы
$ pip install pyod from pyod.models.iforest import IForest
clf = IForest()
clf.fit(data)
scores = clf.decision_scores_
Slide 15
Slide 15 text
Методы
$ pip install pyod [1] Fei Tony Liu, Kai Ming Ting, and Zhi-Hua Zhou.
Isolation forest. In Data Mining, 2008. ICDM'08. Eighth
IEEE International Conference on, 413–422. IEEE,
2008.
[2] Liu, Fei Tony, Ting, Kai Ming and Zhou, Zhi-Hua.
“Isolation-based anomaly detection.” ACM Transactions
on Knowledge Discovery from Data (TKDD) 6.1 (2012):
3.
[3] Mei-Ling Shyu, Shu-Ching Chen, Kanoksri
Sarinnapakorn, and LiWu Chang. A novel anomaly
detection scheme based on principal component
classifier. Technical Report, MIAMI UNIV CORAL
GABLES FL DEPT OF ELECTRICAL AND COMPUTER
ENGINEERING, 2003.
Slide 16
Slide 16 text
Ансамбли
Slide 17
Slide 17 text
Делим
Slide 18
Slide 18 text
Обучаем
Slide 19
Slide 19 text
Усредняем
Slide 20
Slide 20 text
No content
Slide 21
Slide 21 text
In [1]: import random
In [2]: axes = ['попугаи', 'удавы']
In [3]: random.choice(axes)
Out[3]: 'удавы'
In [4]: random.uniform(-6.0, 6.0)
Out[4]: 3.954197818641566
Slide 22
Slide 22 text
…
In [5]: random.choice(axes)
Out[5]: 'попугаи'
In [6]: random.uniform(-6.0, 3.95)
Out[6]: -3.7345546743319455
Slide 23
Slide 23 text
…
In [7]: random.choice(axes)
Out[7]: 'попугаи'
In [8]: random.uniform(-3.73, 6.0)
Out[8]: 4.55352143693694
Slide 24
Slide 24 text
…
In [9]: random.choice(axes)
Out[9]: 'удавы'
In [10]: random.uniform(-6.00, -3.73)
Out[10]: -0.6572094533790986
Slide 25
Slide 25 text
iTree
Slide 26
Slide 26 text
Isolation Forest [1][2]
Slide 27
Slide 27 text
Isolation Forest [1][2]
Slide 28
Slide 28 text
No content
Slide 29
Slide 29 text
Глобальные
Slide 30
Slide 30 text
Контекстные
Slide 31
Slide 31 text
No content
Slide 32
Slide 32 text
No content
Slide 33
Slide 33 text
No content
Slide 34
Slide 34 text
No content
Slide 35
Slide 35 text
No content
Slide 36
Slide 36 text
Виды задач
Slide 37
Slide 37 text
Виды задач
Slide 38
Slide 38 text
Резюме
Slide 39
Slide 39 text
Котики
Slide 40
Slide 40 text
No content