Share
Embed
OpenTalks.AI - Артем Артемов, Генератор неслучайных чисел и проблемы понимания смысла
OpenTalks.AI
February 14, 2019
Transcript
17 slides
-
EITHER BRAIN IS MECHANICAL OR MATHEMATICS IS NOT OUR CREATION
Network initialization Face similarity 0.8682489009729367 import numpy as npimport tensorflow as tfgen_weights = dict() gen_welghts['wl?] = tf.Variable(tf.random_normal([l, 5])) gen_welghts[,blr] = tf.Variable(tf.random_normal([5])) gen-welghts[,w2l] = tf.V ariable(tf.random_normal([5, 1])) genjtfeightsf’bZ1] = tf.Variable(tf.random_normal([l])) disc_weights = discjtfeightsf[wl1] dis weights[fbl’] disc_weights[w2] dtsc_weights[fb2’] disc_weights[w3] + 1 = 0 VS -
«FREE LUNCHES» FOR SMALL DATA Weight initialization = , +
, ~(0; 2) ln (|, 2) = − 2 ln 22 − 1 22 σ=1 ( − ⊺ )2 logr.fit(X_train, Y_train, batch_size=16, nb_epoch=10O, verbose=l, validation_data=(X_test, Y_test)) y_data = 2 * X_data + 1 + np.random.normal(0, 2, (n_samples, 1)) W_relu = tf.Variable(tf,truncated_normal([784, 100], stddev=0.1)) b_relu = tf.Variable(tf.truncated_normal([100], stddev=0.1)) -
ROUND AND SQUARE NUMBERS Activation and regularization function Initialization W=
tf.Variable(tf.zeros([100, 10])) b = tf.Variable(tf.zeros([10])) у = tf.nn.softm ax(tf.m atm ul(h_drop, W) + b) nodel.add(Dense(256, input_dlm=32, kernel_regularizer=regularizers.11(0.001), bias_regularizer=regularizers.12(0.1), activity_regularizer=regularizers.12(0.01))) = = (|)() σ=1 (|)() = σ=1 = ln -
INFORMATIONAL NEUROBAYESIAN APPROACH (INA) = + (; ) ←
, ()=σ ’∈ ’ (’) ()=σ (; ) = (); = () ∝ ; = ( ; ) log ( ; ) ( )( ) X/Y Y1 .. Yj P(Y) X1 ( ; ) … ( ; ) (; 1 ) … … … … … XI ( ; ) … ( ; ) (; ) P(X) (; 1 ) … (; ) 1 X/Y Y1 .. Yj H(Y) X1 H(; 1 ) … … … … … XI H(; ) H(X) H (; 1 ) … H (; ) (; ) ( ) ∝ = min max | ; ⇔ I ; = DKL (P(X; Y)| P X P Y ∗ = arg max = arg min σ (|)=arg max − σ ( ; ) (|) () ; = + − (|) -
HIDDEN VARIABLES AND EMERGENCE (COMPLEXITY OF A SYSTEM) I(Y;W;X) =
log k=1 i Cn k I Y; W = log Nx ψ = log σ k=1 i Cn k log Nx , n ≤ k=1 i Cn k ≤ 2n − 1 log n log Nx ≤ ψ < n log2 a log Nx - logarithm base - total features of objects for classes W – hidden variables = log ( ; ) ( )( ) X/Y Y1 Yj Yn H(Y) X1 1 (; 1 ) XI … … … … Xm 1 (; ) H(X) H (; 1 ) … H (; ) (; ) − I Y; X ⋁ I(Y;W;X)=I(Y;W) - I(Y;W|X) ∀I(Y;W;X)=∃, ⟺ I(Y;W;X) = ψI Y; X , I(Y;X)= φI(Y; W) -
THE CIRCLES OF ANAXIMENE How to get a President’s passport
yesterday? How to get a passport? Level of confidence The model has around 1100 classes, quality of the model F1=0,95 Bits demo.brain2.online/#mfc -
BRAIN2 NLP text = Благодаря содействию Крылова и вмешательству Максима
Горького в 1921 году Капица, в составе специальной комиссии, командирован в Англию. ngramms = 1921+год, англия+в, англия+командировать, благодаря+содействие, в+год, в+состав, вмешательство+командировать, вмешательство+максим горький, вмешательство+содействие, год+командировать, капица+командировать, капица+состав, командировать+содействие, комиссия+состав, комиссия+специальный, крылов+содействие 4578 Semantic vector n-gramms, from «gr_37395__сотрудник_noun~gr_47487__рассчитыва ть_verb (11.6 Bits)»,«gr_47098__постановление_noun~капица_pro pn (0.96 Bits)». demo.brain2.online/#nlp -
BRAIN2 NLP Sentence parsing Named Entity Recognition without capitalization. Question
or statement recognition. demo.brain2.online/#nlp -
SECRET PROJECT: SEMANTIC SEARCH A fast search on texts considering
syntactic content Mary sang a song ≠ The song sang Mary Semantic content Mary sang= Mary wailed in karaoke Innovative Entities Mary Smith sang ≈ Mary sang