Tweet
Tweet

Slide 1

Slide 1 text

Detailed and Visual Understanding of Forward Propagation in Neural Networks

Slide 2

Slide 2 text

Weight matrix representation

Slide 3

Slide 3 text

𝑥1 𝑥2

Slide 4

Slide 4 text

𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1

Slide 5

Slide 5 text

𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 The weights from a 2-node layer to 3-node layer can be expressed as a (2×3) matrix.

Slide 6

Slide 6 text

𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑤1,1 2 𝑤2,1 2 𝑤1,2 2 𝑤2,2 2 𝑤1,3 2 𝑤2,3 2

Slide 7

Slide 7 text

𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑤1,1 2 𝑤2,1 2 𝑤1,2 2 𝑤2,2 2 𝑤1,3 2 𝑤2,3 2 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3)

Slide 8

Slide 8 text

Forward propagation

Slide 9

Slide 9 text

Forward propagation First Layer

Slide 10

Slide 10 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 11

Slide 11 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 12

Slide 12 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 13

Slide 13 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 14

Slide 14 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 15

Slide 15 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 16

Slide 16 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 17

Slide 17 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝒇 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) Activation Function 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 18

Slide 18 text

𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝑓(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)

Slide 19

Slide 19 text

𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒘 𝟏,𝟏 (𝟏) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝒘 𝟏,𝟐 (𝟏) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝒃 𝟏 (𝟏)

Slide 20

Slide 20 text

𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝒘 𝟐,𝟏 (𝟏) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝒘 𝟐,𝟐 (𝟏) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝒙 𝟐 (𝟐) = 𝒇(𝑥1 1 𝑤2,1 1 + 𝑥2 1 𝑤2,2 1 + 𝑏 2 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝒃 𝟐 (𝟏) 𝑏 1 (1)

Slide 21

Slide 21 text

𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝒘 𝟑,𝟏 (𝟏) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝒘 𝟑,𝟐 (𝟏) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝒙 𝟐 (𝟐) = 𝒇(𝑥1 1 𝑤2,1 1 + 𝑥2 1 𝑤2,2 1 + 𝑏 2 (1)) 𝒙 𝟑 (𝟐) = 𝒇(𝑥1 1 𝑤3,1 1 + 𝑥2 1 𝑤3,2 1 + 𝑏 3 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒃 𝟑 (𝟏) 𝑏 2 (1) 𝑏 1 (1)

Slide 22

Slide 22 text

Forward propagation Second Layer

Slide 23

Slide 23 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 24

Slide 24 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 25

Slide 25 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 26

Slide 26 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 27

Slide 27 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 28

Slide 28 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 29

Slide 29 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑥 1 (3) 𝑥 2 (3) 𝑏 2 (2) 𝑏 1 (2)

Slide 30

Slide 30 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 31

Slide 31 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)

Slide 32

Slide 32 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝒘 𝟏,𝟏 𝟐 𝑤 2,1 2 𝒘 𝟏,𝟐 𝟐 𝑤 2,2 2 𝒘 𝟏,𝟑 𝟐 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝒃 𝟏 (𝟐)

Slide 33

Slide 33 text

𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝑤 1,1 2 𝒘 𝟐,𝟏 𝟐 𝑤 1,2 2 𝒘 𝟐,𝟐 𝟐 𝑤 1,3 2 𝒘 𝟐,𝟑 𝟐 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟐 (𝟑) = 𝒇(𝑥1 2 𝑤2,1 2 + 𝑥2 2 𝑤2,2 2 + 𝑥3 2 𝑤2,3 2 + 𝑏 2 (2)) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝒃 𝟐 (𝟐) 𝑏 1 (2)

Slide 34

Slide 34 text

Forward propagation Third Layer

Slide 35

Slide 35 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 36

Slide 36 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 37

Slide 37 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 38

Slide 38 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 39

Slide 39 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 40

Slide 40 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑥 1 (4) 𝑥 2 (4) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 41

Slide 41 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)

Slide 42

Slide 42 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝒘 𝟏,𝟏 𝟑 𝑤 2,1 3 𝒘 𝟏,𝟐 𝟑 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝒃 𝟏 (𝟑)

Slide 43

Slide 43 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝑤 1,1 3 𝒘 𝟐,𝟏 𝟑 𝑤 1,2 3 𝒘 𝟐,𝟐 𝟑 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟐 (𝟒) = 𝒇(𝑥1 3 𝑤2,1 3 + 𝑥2 3 𝑤2,2 3 + 𝑏 2 (3)) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝒃 𝟐 (𝟑) 𝑏 1 (3)

Slide 44

Slide 44 text

Forward propagation Summary

Slide 45

Slide 45 text

𝑾(𝟏) 𝑩(𝟏) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)

Slide 46

Slide 46 text

𝑥 1 (1) 𝑥 2 (1) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)

Slide 47

Slide 47 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)

Slide 48

Slide 48 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐)) 𝑾(𝟑) 𝑩(𝟑)

Slide 49

Slide 49 text

𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐)) 𝑾(𝟑) 𝑩(𝟑) 𝑿(𝟒) = 𝒇(𝑿(𝟑)𝑾(𝟑) + 𝑩(𝟑))

Slide 50

Slide 50 text

Thank you