OpenTalks.AI - Артем Артемов, Генератор неслучайных чисел и проблемы понимания смысла

Transcript

1. NONRANDOM NUMBER GENERATOR OR MEANING UNDERSTANDING PROBLEMS Artem Artemov
2. EITHER BRAIN IS MECHANICAL OR MATHEMATICS IS NOT OUR CREATION Network initialization Face similarity 0.8682489009729367 import numpy as npimport tensorflow as tfgen_weights = dict() gen_welghts['wl?] = tf.Variable(tf.random_normal([l, 5])) gen_welghts[,blr] = tf.Variable(tf.random_normal([5])) gen-welghts[,w2l] = tf.V ariable(tf.random_normal([5, 1])) genjtfeightsf’bZ1] = tf.Variable(tf.random_normal([l])) disc_weights = discjtfeightsf[wl1] dis weights[fbl’] disc_weights[w2] dtsc_weights[fb2’] disc_weights[w3] + 1 = 0 VS
3. «FREE LUNCHES» FOR SMALL DATA Weight initialization = , + , ~(0; 2) ln (|, 2) = − 2 ln 22 − 1 22 σ=1 ( − ⊺ )2 logr.fit(X_train, Y_train, batch_size=16, nb_epoch=10O, verbose=l, validation_data=(X_test, Y_test)) y_data = 2 * X_data + 1 + np.random.normal(0, 2, (n_samples, 1)) W_relu = tf.Variable(tf,truncated_normal([784, 100], stddev=0.1)) b_relu = tf.Variable(tf.truncated_normal([100], stddev=0.1))
4. ROUND AND SQUARE NUMBERS Activation and regularization function Initialization W= tf.Variable(tf.zeros([100, 10])) b = tf.Variable(tf.zeros([10])) у = tf.nn.softm ax(tf.m atm ul(h_drop, W) + b) nodel.add(Dense(256, input_dlm=32, kernel_regularizer=regularizers.11(0.001), bias_regularizer=regularizers.12(0.1), activity_regularizer=regularizers.12(0.01))) = = (|)() σ=1 (|)() = σ=1 = ln
6. INFORMATIONAL NEUROBAYESIAN APPROACH (INA) = ෍ + (; ) ← , ()=σ ’∈ ’ (’) ()=σ (; ) = (); = () ෍ ෍ ∝ ; = ( ; ) log ( ; ) ( )( ) X/Y Y1 .. Yj P(Y) X1 ( ; ) … ( ; ) (; 1 ) … … … … … XI ( ; ) … ( ; ) (; ) P(X) (; 1 ) … (; ) 1 X/Y Y1 .. Yj H(Y) X1 H(; 1 ) … … … … … XI H(; ) H(X) H (; 1 ) … H (; ) (; ) ( ) ∝ = min max | ; ⇔ I ; = DKL (P(X; Y)| P X P Y ∗ = arg max = arg min σ (|)=arg max − σ ( ; ) (|) () ; = + − (|)
7. HIDDEN VARIABLES AND EMERGENCE (COMPLEXITY OF A SYSTEM) I(Y;W;X) = log ෍ k=1 i Cn k I Y; W = log Nx ψ = log σ k=1 i Cn k log Nx , n ≤ ෍ k=1 i Cn k ≤ 2n − 1 log n log Nx ≤ ψ < n log2 a log Nx - logarithm base - total features of objects for classes W – hidden variables = log ( ; ) ( )( ) X/Y Y1 Yj Yn H(Y) X1 1 (; 1 ) XI … … … … Xm 1 (; ) H(X) H (; 1 ) … H (; ) (; ) − I Y; X ⋁ I(Y;W;X)=I(Y;W) - I(Y;W|X) ∀I(Y;W;X)=∃, ⟺ I(Y;W;X) = ψI Y; X , I(Y;X)= φI(Y; W)
8. INA GENERALIZATION https://arxiv.org/abs/1710.07264 https://arxiv.org/abs/1804.00551 kws:, PMI, INA, Wake-Sleep algorithm, InfoGan
9. A FRAMEWORK FOR AI SYSTEMS () = ෍ ( ,) − 2 +
10. Discriminatory model representation Generative representation of model A FRAMEWORK FOR AI SYSTEMS
12. THE CIRCLES OF ANAXIMENE How to get a President’s passport yesterday? How to get a passport? Level of confidence The model has around 1100 classes, quality of the model F1=0,95 Bits demo.brain2.online/#mfc
13. EUCLIDEAN GEOMETRY OF SENSES demo.brain2.online/#nlp
14. BRAIN2 NLP text = Благодаря содействию Крылова и вмешательству Максима Горького в 1921 году Капица, в составе специальной комиссии, командирован в Англию. ngramms = 1921+год, англия+в, англия+командировать, благодаря+содействие, в+год, в+состав, вмешательство+командировать, вмешательство+максим горький, вмешательство+содействие, год+командировать, капица+командировать, капица+состав, командировать+содействие, комиссия+состав, комиссия+специальный, крылов+содействие 4578 Semantic vector n-gramms, from «gr_37395__сотрудник_noun~gr_47487__рассчитыва ть_verb (11.6 Bits)»,«gr_47098__постановление_noun~капица_pro pn (0.96 Bits)». demo.brain2.online/#nlp
15. BRAIN2 NLP Sentence parsing Named Entity Recognition without capitalization. Question or statement recognition. demo.brain2.online/#nlp
16. SECRET PROJECT: SEMANTIC SEARCH A fast search on texts considering syntactic content Mary sang a song ≠ The song sang Mary Semantic content Mary sang= Mary wailed in karaoke Innovative Entities Mary Smith sang ≈ Mary sang
17. THANK YOU FOR ATTENTION!