Uvod u machine i deep learning

Veštačka inteligencija - Uvod u machine i deep learning

Transcript

1. VEŠTAČKA INTELIGENCIJA uvod u machine & deep learning Nemanja Avramović, 2018.
2. VEŠTAČKA INTELIGENCIJA NIJE svesna svog okruženja vidi ljude kao pretnju ima pristup gotovo svim mašinama na zemlji ...bar ne još uvek !
3. ŠTA JE INTELIGENCIJA? Inteligencija ili intelekt (lat. intellectus) je mentalna osobina koja se sastoji od više sposobnosti: učenje iz iskustva, adaptiranje na nove situacije, shvatanje i razumevanje novih situacija i korišćenja stečenog znanja u interakciji sa okruženjem. sauce: Wikipedia
4. ŠTA JE VEŠTAČKA INTELIGENCIJA? Veštačka inteligencija (AI) je podoblast računarstva čiji je cilj razvijanje softvera koji će računarima omogućiti da se ponašaju na način koji bi se mogao okarakterisati inteligentnim. sauce: Wikipedia Prva istraživanja se vezuju za same korene računarstva, 1950ih godina.
5. ŠAH drevna igra (600. gne) prilično jednostavna pravila beskonačno mnogo mogućih poteza napraviti AI koji igra šah
6. CHESSBOARD.JS & CHESS.JS JS implementacija table JS implementacija pravila jednostavno za korišćenje
7. NASUMIČNA IGRA prati pravila igre nasumično izvodi dozvoljene poteze nema pojma o čemu se radi
8. WEIGHTS svakoj figuri dodeljujemo određenu "težinu" zbir težina svih "živih" figura predstavlja jačinu igrača u svakom momentu
9. AGRESIVNA IGRA proverava promenu ukupne težine za svaki mogući potez konstantno napada nema pojma o čemu se radi
10. ANALITIČKA IGRA proverava promenu ukupne težine za svaki mogući potez proverava promenu ukupne težine za N poteza unapred taktizira počinje da "shvata" o čemu se radi
11. ANALITIČKA IGRA ovo jeste veštačka inteligencija (u najširem smislu) ovo nije machine learning
12. ŠTA JE MACHINE LEARNING? sauce: Wikipedia Machine learning je podoblast veštačke inteligencije čiji je cilj konstruisanje algoritama i računarskih sistema koji su sposobni da se adaptiraju na analogne nove situacije i uče na bazi iskustva.
13. KLASIČNO PROGRAMIRANJE VS MACHINE LEARNING dizajn neuronske mreže feature extraction treniranje neuronske mreže razlaganje kompleksnog problema na više manjih celina rešavanje svake celine ponaosob pisanje kôda Klasično programiranje Machine learning
14. ZAŠTO SMO INTELIGENTNI? Zato što imamo ... ... ... wait for it... ...
15. PROSEČAN MOZAK IMA* 100 milijardi neurona, 100 triliona sinapsi
 
 ...koji čine neuronsku mrežu
16. PODSETNIK: LOGIČKA KOLA bulova algebra (tautologija): T i osnovna kola: AND, OR i NOT kombinacijom mogu da se kreiraju ostala logička kola kao što su NAND, NOR, XOR, XNOR hardverska i softverska implementacija AND U U I 1 1 1 1 0 0 0 1 0 0 0 0 OR U U I 1 1 1 1 0 1 0 1 1 0 0 0 NOT U I 1 0 0 1 T
17. PERCEPTRON napredno logičko kolo veštački neuron radi sa binarnim vrednostima može imati više ulaza ima samo jedan izlaz softverska implementacija ...
18. PERCEPTRON napredno logičko kolo veštački neuron radi sa binarnim vrednostima može imati više ulaza ima samo jedan izlaz softverska implementacija ... Da li Nemanja ide na team-building? 3 2 2 4 Da li ima ko da čuva Luku? Da li će biti lepo vreme? Da li sam završio posao? 1 - da 0 - ne
19. PERCEPTRON napredno logičko kolo veštački neuron radi sa binarnim vrednostima može imati više ulaza ima samo jedan izlaz softverska implementacija ... Da li Nemanja ide na team-building? 3 2 2 Da li ima ko da čuva Luku? Da li će biti lepo vreme? Da li sam završio posao? 1 - da 0 - ne 5
20. PERCEPTRON ... Da li Nemanja ide na team-building? 3 2 2 Da li ima ko da čuva Luku? Da li će biti lepo vreme? Da li sam završio posao? 1 - da 0 - ne 5 svi ulazi imaju svoju težinu threshold je granica ispod koje perceptron ne reaguje bias = 1/threshold
21. NEURONSKA MREŽA (ANN) mreža veštačkih perceptrona raspoređeni u slojeve svi perceptroni su međusobno povezani sa perceptronima iz obližnjeg sloja input, output i hidden layer
22. PROBLEM LANČANE REAKCIJE menjanje thresholda jednog perceptrona drastično utiče na celu mrežu to može u potpunosti poremetiti rad mreže
23. SIGMOID FUNKCIJA za sve negativne vrednosti daje vrednost ≈ 0 za sve pozitivne vrednosti daje vrednost ≈ 1 za nulu daje vrednost = 0.5
24. PERCEPTRON ⏧
    NEURON neuron koristi aktivacionu funkciju možemo precizno konfigurisati neurone bias umesto thresholda uticaj promena na mrežu neznatan, ali ipak postoji ... y = sig((w1*i1 + w2*i2 + ... + wN*iN) + bias) i1 i2 iN w1 w2 wN bias y
25. DIZAJN NEURONSKE MREŽE broj ulaznih neurona jednak je broju relevantnih ulaznih informacija broj izlaza jednak je broju potrebnih izlaza broj i veličina hidden layera = ?
26. FEATURE EXTRACTION Feature extraction (izdvajanje karakteristika) predstavlja svaki algoritam koji transformiše sirove podatke u vrednosti ulaznog sloja neuronske mreže.
27. TRENIRANJE NEURONSKE MREŽE Reinforced learning ima za cilj da pronađe najbolji način da, kroz više iteracija, na osnovu ulaznih podataka dođe do željenog izlaza tako što će najbolji rezultati biti nagrađeni. Primer: automatsko igranje kompjuterskih igara. Supervised learning ima za cilj da pronađe korelacije između ulaznih i izlaznih trening podataka, kako bi kasnije mogao da "predvidi" izlazne podatke na osnovu nekih novih ulaznih podataka. Primer: predviđanje cena na osnovu različitih parametara. Unsupervised learning ima za cilj da klasifikuje podatke; tj. da pronađe šablone u grupama podataka (redukcija dimenzije). Imamo ulazne trening podatke ali ne i (grupisane/označene) izlazne podatke. Često se koristi kao feature extraction za supervised deep learning. Primer: related videos na YT.
28. LET'S PLAY FLAPPY BIRD
29. EVOLUTIVNA NEURONSKA MREŽA 10 ptica, svaka sa svojom neuronskom mrežom svi weights & biases su inicijalno random postavljeni kada sve ptice poginu kreira se nova generacija znanje se prenosi kroz generacije (reinforced learning)
30. MOZAK PTICE
31. SURVIVAL OF THE FITTEST
32. EVOLUCIJA PTICA četiri najbolje ptice se plasiraju u sledeću generaciju kreiramo jednu pticu kao potomka dve najbolje kreiramo tri ptice kao potomke dve random izabrane od najbolje četiri kreiramo dve ptice kao klonove dve random izabrane od najbolje četiri primenimo malu mutaciju na sve potomke
33. LET'S PLAY FLAPPY BIRD
34. DEEP LEARNING Deep learning je podoblast machine learninga čiji je cilj omogućavanje učenja iz ogromnog seta podataka korišćenjem većih mreža sa više neurona i hidden layera. sauce: Investopedia Razvoj hardvera poslednjih godina je omasovio deep learning i doveo ga i u naše domove.
35. KOJI JE OVO BROJ?
36. KAKO ZNAMO KOJI JE BROJ? } } 28px 28px različite slike imaju iste brojeve napisane drugačije svaka slika "aktivira" različite piksele praktično neograničen broj varijacija
37. KAKO ZNAMO KOJI JE BROJ? } } 28px 28px različite slike imaju iste brojeve napisane drugačije svaka slika "aktivira" različite piksele praktično neograničen broj varijacija
38. KAKO ZNAMO KOJI JE BROJ? } } 28px 28px različite slike imaju iste brojeve napisane drugačije svaka slika "aktivira" različite piksele praktično neograničen broj varijacija
39. KAKO ZNAMO KOJI JE BROJ? } } 28px 28px različite slike imaju iste brojeve napisane drugačije svaka slika "aktivira" različite piksele praktično neograničen broj varijacija
40. SIZIFOV POSAO? program 4
41. SIZIFOV POSAO? program 4
42. SIZIFOV POSAO? program 4
43. SIZIFOV POSAO? program 4
44. PODSETNIK: RGB VS GRAYSCALE SLIKE R G B 81 51 59 Y 61 1 byte = 8 bita = 28 = 256 = [0-255] RGB = 3 bytes/pixel Grayscale = 1 byte/pixel
45. DIZAJN NEURONSKE MREŽE broj ulaznih neurona: 
 28x28 = 784 broj izlaznih neurona:
 10 [0-9] broj hidden layera/neurona:
 2x16 [?] ukupno neurona:
 768+16+16+10 = 804 broj sinapsi:
 784x16+16x16+16x10 = 12,960
46. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
47. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
48. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
49. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
50. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
51. TRENIRANJE NEURONSKE MREŽE ... Piksel 1 Piksel 2 Piksel 3 Piksel 4 Piksel 5 Piksel 6 Piksel 7 Piksel 8 Piksel 9 Piksel 10 Piksel 11 Piksel 12 Piksel 13 Piksel 14 Piksel 15 Piksel 16 Piksel 17 Piksel 18 ... Piksel 784 1 2 3 4 5 6 7 8 9 0
52. TESTIRANJE NEURONSKE MREŽE
53. KADA KORISTITI MACHINE / DEEP LEARNING? ML ne može rešiti svaki vaš problem Jako dobro za rešavanje nelinearnih problema i obradu analognih podataka (speech & image recognition, NLP) Ne morate "izmišljati toplu vodu" - postoje već gotove biblioteke za većinu jezika, čak i za JavaScript # Postoje i već istrenirani modeli za prepoznavanje objekata, OCR, NLP i slično Ako hoćete da radite bilo šta ozbiljno koristite Python i Tensorflow biblioteku
54. ZANIMLJIV PRIMER #1 Automatski opisi slika na Facebook-u
55. ZANIMLJIV PRIMER #2 Python plays GTA V / https://www.twitch.tv/sentdex
56. ZANIMLJIV PRIMER #3 Tensorflow object detection - već istreniran model za detekciju objekata
57. PITANJA?
58. RESURSI http://neuralnetworksanddeeplearning.com https://tensorflow.org https://askforgametask.com/html5/tutorials/flappy http://caza.la/synaptic http://yann.lecun.com/exdb/mnist http://cocodataset.org/ https://github.com/php-ai/php-ml