Въведение в (Machine|Deep) Learning

Transcript

1. Introduction to (Machine|Deep) Learning Стефан Кънев http://skanev.com/ @skanev PlovdivConf 13 май 2023 Пловдив
2. Здравейте, аз съм Стефан
3. skanev.com @skanev /c/StefanKanev tilde-slash.fm
4. ChatGPT, ??.??.2023
5. (machine|deep) learning
6. интуиция за какво е невронна мрежа 1 2 3 да се зарибите да пробвате ясни следващи стъпки Цели за днес
7. disclaimer(s)!
8. малко hand-waving ще “поопростя” някои неща ще говоря само за supervised learning ще пропусна ред интересни моменти все пак, ще съм фактологически коректен
9. уви, има доста математика 
 линейна алгебра 
 “calculus” 
 статистика 
 изненадващо, не ви трябва да започнете, но помага
11. някои автори сравняват невронните мрежи с човешкия мозък, но аз не харесвам това 
 безполезна аналогия 
 никой не знае още как работи човешкия мозък 
 по-скоро е вдъхновено от това, но се разбира по-добре през математическия модел
12. machine learning vs deep learning
13. какво е machine learning?
14. y = f(x)
15. алгоритми
16. y = f(x) знаем търсим знаем
17. f x y най-голямо число / max a, b a > b ? a : b сортиране на масив списък от неща подредени неща Д[еиа]йкстра граф най-кратък път Алгоритми
18. Machine Learning
19. y = f(x) знаем знаем търсим
21. m² етаж квартал цена 70 5 Люлин 80,000 90 1 Лозенец 112,000 60 10 Център 140,000 120 10 Център 200,000 x y пример features labels
22. m² етаж квартал цена 70 5 Люлин 80,000 90 1 Лозенец 112,000 60 10 Център 140,000 120 10 Център 200,000 X y⃗
23. добре, но как точно търсим f?
24. правим “предположение” за формата на f 
 дефинираме “грешка” 
 търсим параметри за които грешката е минимална 
 (на практика ползваме готова библиотека, не го правим ръчно)
25. линейна регресия
26. правим “предположение” за формата на f 
 дефинираме “грешка” 
 търсим параметри за които грешката е минимална 
 (на практика ползваме готова библиотека, не го правим ръчно)
27. f = a0 + a1x1 + a2x2 + a3x3 + … + anxn = y features label parameters / weights квадратура етаж квартал цена
28. the curse of dimensionality
29. квадратура цена f = a0 + a1x1 = y
30. квадратура цена
31. правим “предположение” за формата на f 
 дефинираме “грешка” 
 търсим параметри за които грешката е минимална 
 (на практика ползваме готова библиотека, не го правим ръчно)
32. y = f(x) ̂ ̂
34. правим “предположение” за формата на f 
 дефинираме “грешка” 
 търсим параметри за които грешката е минимална 
 (на практика ползваме готова библиотека, не го правим ръчно)
35. a0 грешка
36. gradient descent
37. целия този процес се нарича “трениране”
38. x₁ x₂ x₃ x₄ x₅ + y f = a0 + a1x1 + a2x2 + a3x3 + … + anxn = y
39. как изглеждат тези параметри?
40. y = база + ценакв×кв y = 10,000 + 1,000×кв
41. какво правим с етажа?
42. y = база + ценакв×кв + ценаетаж×етаж y = 10,000 + 1,000×кв + 2,000×етаж
43. как може да решим този проблем?
44. етаж първи високо ниско
45. етаж 2 1 10 5 първи нисък висок 0 1 0 1 0 0 0 0 1 0 0 0 one-hot-encoding + binning (of sorts)
46. y = база + €кв×кв + €първи×първи + €нисък×нисък + €висок×висок y = 10,000 + 1,000×кв + -5,000×първи + -2,000×нисък + 10,000×висок
47. какво правим с квартала?
48. квартал Лозенец Люлин Център Лозенец квартал 1 2 3 1 indexing няма да работи
49. квартал Лозенец Люлин Център Лозенец лозенец център люлин 1 0 0 0 0 1 0 1 0 1 0 0 one-hot-encoding (ама наистина)
50. y = база + €кв×кв + €лоз×лоз + €люл×люл + €цен×цен y = 10,000 + 1,000×кв + 10,000×лоз + -5,000×люл + 30,000×цен
51. това ще даде по-добри резултати, но навярно не съвпада с реалността
52. по-скоро различните квартали имат различна базова цена на квадрат
53. квартал кв² Лозенец 70 Люлин 120 Център 60 Лозенец 85 лозенец × кв² център × кв² люлин × кв² 70 0 0 0 0 120 0 60 0 85 0 0 one-hot-encoding (ама наистина)
54. y = база + €кв×кв + €лоз×кв×лоз×кв + €люл×кв×люл×кв + €цен×кв×цен×кв y = 10,000 + 1,000×кв + 200×лоз×кв + -100×люл×кв + 500×цен×кв
55. всичко това се нарича feature engineering и е голяма част от процеса на (класически) machine learning също така е част от data science заяната (образно казано)
56. regression vs. classi fi cation “реално” число булева стойност
57. може да адаптираме линейната регресия до алгоритъм за класификация
58. σ(x)
60. f = 𝜎 (a0 + a1x1 + a2x2 + a3x3 + … + anxn) = y f = a0 + a1x1 + a2x2 + a3x3 + … + anxn = y
61. x₁ x₂ x₃ x₄ x₅ σ y f = 𝜎 (a0 + a1x1 + a2x2 + a3x3 + … + anxn) = y
62. объркващо, това се нарича логистична регресия (въпреки, че е класификация)
63. супер. имаме модел. как знаем дали се справя добре?
64. какво значи “справя добре”? 
 прави хубави предвиждания за непознати данни 
 ако го натренираме на всички данни, има шанс да научи само тях добре, но да генерализира зле
65. train/test split All Data Train Test с това тренираме с това валидираме
68. train test интерпретация 60% 60% under fi t 99% 65% over fi t 95% 94% супер* validation
69. deep learning (a.k.a. какво е невронна мрежа)
70. x₁ x₂ x₃ x₄ x₅ σ σ σ σ σ σ σ σ σ σ σ σ σ y
71. x₁ x₂ x₃ x₄ x₅ σ σ σ σ σ σ σ σ σ σ σ σ σ y layers neuron
72. ползваме много слоеве всеки слой може да има различен размер от съседите си обикновено вместо сигмоид ползваме набор от други “активационни функции” gradient descent си работи, но обновяваме теглата на всички слоеве на всяка стъпка (backpropagation) има вариации на типовете слоеве
73. дълбоки мрежи могат да сложни функции започва да трябва много желязо започваме да ставаме жертви на fl oating point започва много да over fi t-ва започва да е гладно за много данни, понеже това помага с over fi t-а
74. convolutional neural networks
75. друг вид слой, в който вместо “логистична регресия” правим конволюция
77. LeNet 5
78. защо това е интересно?
79. при много данни, по-сложни модели могат да дадат по-добър резултат
80. “намалява/премахва” feature engineering
82. има по-интересна визуализация при мрежи за картинки
86. интересното, е че не “програмираме” мрежата да разпознава ръбове, преходи и кучета, а тя сама се научава
87. transfer learning
88. можем да вземем мрежа натренирана за друг (подобен) проблем на много данни 
 и да я fi ne-tune-нем за нашия проблем с много по-малко данни
89. LeNet 5
90. x₁ x₂ x₃ x₄ x₅ σ σ σ σ σ σ σ σ σ σ σ σ σ y
91. numpy pandas matplotlib jupyter scikit-learn ternsor fl ow pytorch
92. deeplearning.ai
93. fast.ai
94. книжки на o’reilly
95. kaggle.com 
 
 huggingface.com
97. ?