Forward Propagation in Neural Networks

This slide shows the formula for forward propagation in a neural network in an easy-to-understand diagram.
This slide will help you understand how the values of the formula are used in the network.

Transcript

1. Detailed and Visual Understanding of Forward Propagation in Neural Networks
2. Weight matrix representation
3. 𝑥1 𝑥2
4. 𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1
5. 𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 The weights from a 2-node layer to 3-node layer can be expressed as a (2×3) matrix.
6. 𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑤1,1 2 𝑤2,1 2 𝑤1,2 2 𝑤2,2 2 𝑤1,3 2 𝑤2,3 2
7. 𝑥1 𝑥2 𝑤1,1 1 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤2,1 1 𝑤3,1 1 𝑤1,2 1 𝑤2,2 1 𝑤3,2 1 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑤1,1 2 𝑤2,1 2 𝑤1,2 2 𝑤2,2 2 𝑤1,3 2 𝑤2,3 2 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3)
8. Forward propagation
9. Forward propagation First Layer
10. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
11. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
12. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
13. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
14. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
15. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
16. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
17. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝒇 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) Activation Function 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
18. 𝑥 1 (1) 𝑥 2 (1) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝑓(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝑏 1 (1)
19. 𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒘 𝟏,𝟏 (𝟏) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝒘 𝟏,𝟐 (𝟏) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝑏 2 (1) 𝒃 𝟏 (𝟏)
20. 𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝒘 𝟐,𝟏 (𝟏) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝒘 𝟐,𝟐 (𝟏) 𝑤 3,2 (1) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝒙 𝟐 (𝟐) = 𝒇(𝑥1 1 𝑤2,1 1 + 𝑥2 1 𝑤2,2 1 + 𝑏 2 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝑏 3 (1) 𝒃 𝟐 (𝟏) 𝑏 1 (1)
21. 𝒙 𝟏 (𝟏) 𝒙 𝟐 (𝟏) 𝑋(1) = 𝑥 1 (1) 𝑥 2 (1) 𝑊(1) = 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝒘 𝟑,𝟏 (𝟏) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝒘 𝟑,𝟐 (𝟏) 𝒙 𝟏 (𝟐) 𝒙 𝟐 (𝟐) 𝒙 𝟑 (𝟐) 𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥 1 (1) 𝑥 2 (1) 𝑤 1,1 (1) 𝑤 2,1 (1) 𝑤 3,1 (1) 𝑤 1,2 (1) 𝑤 2,2 (1) 𝑤 3,2 (1) + 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒙 𝟏 (𝟐) = 𝒇(𝑥1 1 𝑤1,1 1 + 𝑥2 1 𝑤1,2 1 + 𝑏 1 (1)) 𝒙 𝟐 (𝟐) = 𝒇(𝑥1 1 𝑤2,1 1 + 𝑥2 1 𝑤2,2 1 + 𝑏 2 (1)) 𝒙 𝟑 (𝟐) = 𝒇(𝑥1 1 𝑤3,1 1 + 𝑥2 1 𝑤3,2 1 + 𝑏 3 (1)) 𝐵(1) = 𝑏 1 (1) 𝑏 2 (1) 𝑏 3 (1) 𝒃 𝟑 (𝟏) 𝑏 2 (1) 𝑏 1 (1)
22. Forward propagation Second Layer
23. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
24. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
25. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
26. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
27. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
28. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
29. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑥 1 (3) 𝑥 2 (3) 𝑏 2 (2) 𝑏 1 (2)
30. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
31. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝑤 1,1 2 𝑤 2,1 2 𝑤 1,2 2 𝑤 2,2 2 𝑤 1,3 2 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝑏 1 (2)
32. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝒘 𝟏,𝟏 𝟐 𝑤 2,1 2 𝒘 𝟏,𝟐 𝟐 𝑤 2,2 2 𝒘 𝟏,𝟑 𝟐 𝑤 2,3 2 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝑏 2 (2) 𝒃 𝟏 (𝟐)
33. 𝑊(2) = 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 (2) 𝑤 2,1 (2) 𝑤 1,2 (2) 𝑤 2,2 (2) 𝑤 1,3 (2) 𝑤 2,3 (2) + 𝑏 1 (2) 𝑏 2 (2) 𝒙 𝟏 (𝟑) = 𝒇(𝑥1 2 𝑤1,1 2 + 𝑥2 2 𝑤1,2 2 + 𝑥3 2 𝑤1,3 2 + 𝑏 1 (2)) 𝑤 1,1 2 𝒘 𝟐,𝟏 𝟐 𝑤 1,2 2 𝒘 𝟐,𝟐 𝟐 𝑤 1,3 2 𝒘 𝟐,𝟑 𝟐 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟐 (𝟑) = 𝒇(𝑥1 2 𝑤2,1 2 + 𝑥2 2 𝑤2,2 2 + 𝑥3 2 𝑤2,3 2 + 𝑏 2 (2)) 𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓 𝑋(2) = 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝐵(2) = 𝑏 1 (2) 𝑏 2 (2) 𝒃 𝟐 (𝟐) 𝑏 1 (2)
34. Forward propagation Third Layer
35. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
36. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
37. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
38. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
39. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
40. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑥 1 (4) 𝑥 2 (4) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
41. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝑤 1,1 3 𝑤 2,1 3 𝑤 1,2 3 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝑏 1 (3)
42. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝒘 𝟏,𝟏 𝟑 𝑤 2,1 3 𝒘 𝟏,𝟐 𝟑 𝑤 2,2 3 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝑏 2 (3) 𝒃 𝟏 (𝟑)
43. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥 1 (3) 𝑥 2 (3) 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) + 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) = 𝒇(𝑥1 3 𝑤1,1 3 + 𝑥2 3 𝑤1,2 3 + 𝑏 1 (3)) 𝑤 1,1 3 𝒘 𝟐,𝟏 𝟑 𝑤 1,2 3 𝒘 𝟐,𝟐 𝟑 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟐 (𝟒) = 𝒇(𝑥1 3 𝑤2,1 3 + 𝑥2 3 𝑤2,2 3 + 𝑏 2 (3)) 𝐵(3) = 𝑏 1 (3) 𝑏 2 (3) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑋(3) = 𝑥 1 (3) 𝑥 2 (3) 𝑊(3) = 𝑤 1,1 (3) 𝑤 2,1 (3) 𝑤 1,2 (3) 𝑤 2,2 (3) 𝒃 𝟐 (𝟑) 𝑏 1 (3)
44. Forward propagation Summary
45. 𝑾(𝟏) 𝑩(𝟏) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)
46. 𝑥 1 (1) 𝑥 2 (1) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)
47. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑾(𝟑) 𝑩(𝟑)
48. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐)) 𝑾(𝟑) 𝑩(𝟑)
49. 𝑥 1 (1) 𝑥 2 (1) 𝑥 1 (2) 𝑥 2 (2) 𝑥 3 (2) 𝒙 𝟏 (𝟑) 𝒙 𝟐 (𝟑) 𝒙 𝟏 (𝟒) 𝒙 𝟐 (𝟒) 𝑿(𝟏) 𝑾(𝟏) 𝑩(𝟏) 𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏)) 𝑾(𝟐) 𝑩(𝟐) 𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐)) 𝑾(𝟑) 𝑩(𝟑) 𝑿(𝟒) = 𝒇(𝑿(𝟑)𝑾(𝟑) + 𝑩(𝟑))
50. Thank you