Data Mining #5 / Метод опорных векторов

Transcript

1. Задачи классификации SVM Дмитрий Меркушов TeamLead @ Antispam ML
2. На прошлой лекции • Разобрали логистическую регрессию • Рассмотрели метрики оценки качества классификаторов • Научились подбирать порог для классификаторов
3. Multiclass классификация One vs all
4. Многоклассовая классификация: one-vs- all
5. Многоклассовая классификация: one-vs- all
6. Многоклассовая классификация: one-vs- all
7. Многоклассовая классификация: one-vs- all
8. Многоклассовая классификация: one-vs- all w1
9. Многоклассовая классификация: one-vs- all w1 w2
10. Многоклассовая классификация: one-vs- all w1 w2 w3
11. Как предсказать класс? У какого класса больше вероятность, тот и предсказываем
12. Как предсказать класс? У какого класса больше вероятность, тот и предсказываем w1 w2 w3 0.3 0.8 0.15
13. Как предсказать класс? У какого класса больше вероятность, тот и предсказываем w1 w2 w3 0.3 0.8 0.15
14. Как предсказать класс? Какой классификатор сработал, такую метку и ставим
15. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15
16. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15 0.5 0.8 0.5 пороги
17. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15 0.5 0.8 0.5 пороги
18. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15 0.5 0.8 0.5 пороги
19. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15 0.5 0.8 0.5 пороги
20. Как предсказать класс? Какой классификатор сработал, такую метку и ставим w1 w2 w3 0.6 0.7 0.15 0.5 0.8 0.5 пороги
21. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность
22. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность w1 w2 w3 0.6 0.7 0.15 0.5 0.65 0.5 пороги
23. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность w1 w2 w3 0.6 0.7 0.15 0.5 0.65 0.5 пороги
24. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность w1 w2 w3 0.6 0.7 0.15 0.5 0.65 0.5 пороги
25. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность w1 w2 w3 0.6 0.7 0.15 0.5 0.65 0.5 пороги
26. Как предсказать класс? Если сработало несколько классификаторов, можно выбрать метку того, который дает максимальную вероятность w1 w2 w3 0.6 0.7 0.15 0.5 0.65 0.5 пороги
27. One vs All • Число классификаторов = числу классов N • Итоговое число параметров для оптимизации N*{X} • Возможны варианты по окончательной классификации • Нельзя напрямую упорядочивать по скорам N классификаторов
28. Многоклассовая классификация: softmax W1 W2 W3
29. Многоклассовая классификация: softmax w1 w2 w3 w1Tx w2Tx w3Tx exp(w1Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx) exp(w2Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx) exp(w3Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx)
30. Многоклассовая классификация: softmax Y_true = 3 0 0 1 p1 p2 p3 exp(w1Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx) exp(w2Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx) exp(w3Tx) exp(w1Tx) + exp(w2Tx) + exp(w3Tx)
31. Многоклассовая классификация: softmax Кросс-энтропия: L – количество рекордов N – количество классов , , = − [ = ] log ( , , ) Бинарный log-loss: , , = − log ( , )
32. Многоклассовая классификация: softmax Кросс-энтропия: L – количество рекордов N – количество классов Один объект зависит сразу от весов w всех классов ! , , = − [ = ] log ( , , ) Бинарный log-loss: , , = − log ( , )
33. Softmax пример
34. Softmax • Один классификатор – ’multinomial logistic regression’ • Примерно та же интуиция • Итоговое число параметров для оптимизации N*{X} • Напрямую упорядочиваем по N аутпутам, выбираем max
35. Метрики многоклассовой классификации
36. Метрики многоклассовой оценки • Accuracy = 1 [ ′ = ] • Доля правильных ответов классификатора • ’Многоклассовый precision’ • Micro-averaging • Усреднение confusion matrix по классам One Vs All • Нужная метрика – по усредненной матрице • Macro-averaging • Нужная метрика – для каждого класса в отдельности • Усреднение метрики
37. Линейная классификация Support Vector Machine
38. Геометрическая интерпретация 0  x wT
39. Попробуем найти максимальный зазор
40. Попробуем найти максимальный зазор
41. Построение разделяющей поверхности • Задача классификации на 2 класса Y={1,-1} • Обучающая выборка X=(xi ,yi ), i=1,L • Построить алгоритм классификации a(x,w)=sign f(x,w) f(x,w)=0 – разделяющая поверхность
42. Отступ • f(x,w)=0 – разделяющая поверхность • Mi (w)=yi f(xi ,w) – отступ объекта I (Margin) • Mi (w) < 0 => ошибка алгоритма a на объекте I
43. Функционал эмпирического риска • Mi (w) < 0 => ошибка алгоритма a на объекте I • Эмпирический риск • = [ < 0] • Гладкая аппроксимация ≤ ′ = ( ) • Q -> min
44. Аппроксимации
45. Аппроксимация SVM. Hinge Loss L(M) = max(0, 1-M)
46. Linear SVM на 1 слайде • L = max(0, 1-M) • ′ = max⁡ (0, 1 − ) + 1 2С ||w||2 -> minw • Оптимизация градиентным спуском (но решается иначе) • a(xi ,wi )=sign (xi ,wi )
47. Мотивация • В исходной постановке – классическая задача минимизации эмпирического риска с регуляризацией • Но откуда такой Loss? • Почему нужен регуляризатор?
48. SVM. Линейно разделимый случай
49. Попробуем найти максимальный зазор 2M
50. Попробуем найти максимальный зазор X1 X2 2M
51. Попробуем найти максимальный зазор X1 X2 2M
52. Ренормировка X1 X2 2M 1 = -1 2 ⁡= 1
53. Попробуем найти максимальный зазор X1 X2 2M 2 = 1 + 2 || 1 = -1 2 ⁡= 1 , ≥ 1
54. Попробуем найти максимальный зазор X1 X2 2M 2 = 1 + 2 || 1 = -1 2 ⁡= 1 2 − 1 = 2 2 − 1 = 2 , ≥ 1 ≥ 1
55. Попробуем найти максимальный зазор X1 X2 2M 2 − 1 = 2 2 − 1 = 2 ≥ 1 = 1 → max ≥ 1
56. SVM: постановка задачи 1 2 2 −> minw Mi (w) >= 1, i=1,L • Исключительно из соображений максимизации зазора
57. SVM. Неразделимый случай
58. Штрафы за ошибки • Вводим штрафы за неправильную сторону ′ = 1 2 w 2 + С ε −> min Mi (w) >= 1 - ε, i=1,L ε ≥ 0, i=1,L 1 2 2 −> minw Mi (w) >= 1, i=1,L • Разделимая постановка
59. Штрафы за ошибки • Вводим штрафы за неправильную сторону ′ = 1 2 w 2 + С ε −> min Mi (w) >= 1 - ε, i=1,L ε ≥ 0, i=1,L ′ = 1 2 w 2 + С max(0, 1 − ) −> min
60. SVM. Безусловная постановка • ′ = 1 2 w 2 + С max(0, 1 − ) −> min • Классический функционал для SVM • С как копромисс между разделением классов и зазором
61. SVM. Безусловная постановка • ′ = 1 2 w 2 + С max(0, 1 − ) −> min • Классический функционал для SVM • Обосновали Лосс ! Обосновали регуляризацию ! • И да, его можно решать SGD • Но люди пошли дальше • И получили профит
62. SVM. Двойственная задача
63. SVM: переход к двойственной задаче • Вернемся к условной постановке ′ = 1 2 w 2 + С ε −> min Mi (w) >= 1 - ε, i=1,L ε ≥ 0, i=1,L
64. Условия Куна-Таккера (ККТ)
65. Двойственная задача
66. Профиты перехода = − + 1 2 ( , ) → min = ⁡( ⁡ , −⁡0 ) • В обучении не участвуют сами объекты, только матрица Грамма на выборке • На инференсе сами объекты также не нужны • В переходе использовались свойства скалярного произведения, но без привязки к пространству • Подойдет ск.п. в любом пространстве • Путь в нелинейность
67. Нелинейная классификация SVM ядра
68. Kernel Trick • Переходим к пространству более высоких размерностей – за счет ядер • Определение – функция k: × → – ядро, если существует : • : ⁡X → • , ′ = ( , ′ ) • Симметричная, неотрицательно определенная функция
69. Примеры ядер • Линейное • , = , • Полиномиальное • , = , + 1 d • Radial Basis Function • , = exp⁡ (−| − |2) • Остальные – через конструктивные методы
70. Примеры ядер • Линейное • , = , • Полиномиальное • , = , + 1 d • Radial Basis Function • , = exp⁡ (−| − |2) • Остальные – через конструктивные методы • Пространство для квадратичного ядра (x,z)?
71. Примеры ядер