Forward Propagation in Neural Networks

This slide shows the formula for forward propagation in a neural network in an easy-to-understand diagram.
This slide will help you understand how the values of the formula are used in the network.

Transcript

1. Detailed and Visual Understanding of
   Forward Propagation in Neural Networks
   

   View Slide

2. Weight matrix representation
   

   View Slide

3. 𝑥1
   𝑥2
   

   View Slide

4. 𝑥1
   𝑥2
   𝑤1,1
   1
   𝑊(1) =
   𝑤
   1,1
   (1) 𝑤
   2,1
   (1) 𝑤
   3,1
   (1)
   𝑤
   1,2
   (1) 𝑤
   2,2
   (1) 𝑤
   3,2
   (1)
   𝑤2,1
   1
   𝑤3,1
   1
   𝑤1,2
   1
   𝑤2,2
   1
   𝑤3,2
   1
   

   View Slide

5. 𝑥1
   𝑥2
   𝑤1,1
   1
   𝑊(1) =
   𝑤
   1,1
   (1) 𝑤
   2,1
   (1) 𝑤
   3,1
   (1)
   𝑤
   1,2
   (1) 𝑤
   2,2
   (1) 𝑤
   3,2
   (1)
   𝑤2,1
   1
   𝑤3,1
   1
   𝑤1,2
   1
   𝑤2,2
   1
   𝑤3,2
   1
   The weights from a 2-node layer to 3-node layer
   can be expressed as a (2×3) matrix.
   

   View Slide

6. 𝑥1
   𝑥2
   𝑤1,1
   1
   𝑊(1) =
   𝑤
   1,1
   (1) 𝑤
   2,1
   (1) 𝑤
   3,1
   (1)
   𝑤
   1,2
   (1) 𝑤
   2,2
   (1) 𝑤
   3,2
   (1)
   𝑤2,1
   1
   𝑤3,1
   1
   𝑤1,2
   1
   𝑤2,2
   1
   𝑤3,2
   1
   𝑊(2) =
   𝑤
   1,1
   (2) 𝑤
   2,1
   (2)
   𝑤
   1,2
   (2) 𝑤
   2,2
   (2)
   𝑤
   1,3
   (2) 𝑤
   2,3
   (2)
   𝑤1,1
   2
   𝑤2,1
   2
   𝑤1,2
   2
   𝑤2,2
   2
   𝑤1,3
   2
   𝑤2,3
   2
   

   View Slide

7. 𝑥1
   𝑥2
   𝑤1,1
   1
   𝑊(1) =
   𝑤
   1,1
   (1) 𝑤
   2,1
   (1) 𝑤
   3,1
   (1)
   𝑤
   1,2
   (1) 𝑤
   2,2
   (1) 𝑤
   3,2
   (1)
   𝑤2,1
   1
   𝑤3,1
   1
   𝑤1,2
   1
   𝑤2,2
   1
   𝑤3,2
   1
   𝑊(2) =
   𝑤
   1,1
   (2) 𝑤
   2,1
   (2)
   𝑤
   1,2
   (2) 𝑤
   2,2
   (2)
   𝑤
   1,3
   (2) 𝑤
   2,3
   (2)
   𝑤1,1
   2
   𝑤2,1
   2
   𝑤1,2
   2
   𝑤2,2
   2
   𝑤1,3
   2
   𝑤2,3
   2
   𝑊(3) =
   𝑤
   1,1
   (3) 𝑤
   2,1
   (3)
   𝑤
   1,2
   (3) 𝑤
   2,2
   (3)
   𝑤
   1,1
   (3)
   𝑤
   2,1
   (3)
   𝑤
   1,2
   (3)
   𝑤
   2,2
   (3)
   

   View Slide

8. Forward propagation
   

   View Slide

9. Forward propagation
   First Layer
   

   View Slide

10. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

11. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

12. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

13. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

14. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

15. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

16. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

17. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝒇 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    Activation Function
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

18. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝑓(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

19. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝒘
    𝟏,𝟏
    (𝟏)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝒘
    𝟏,𝟐
    (𝟏)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝒃
    𝟏
    (𝟏)
    

    View Slide

20. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝒘
    𝟐,𝟏
    (𝟏)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝒘
    𝟐,𝟐
    (𝟏)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝒙
    𝟐
    (𝟐) = 𝒇(𝑥1
    1 𝑤2,1
    1 + 𝑥2
    1 𝑤2,2
    1 + 𝑏
    2
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝒃
    𝟐
    (𝟏)
    𝑏
    1
    (1)
    

    View Slide

21. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝒘
    𝟑,𝟏
    (𝟏)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝒘
    𝟑,𝟐
    (𝟏)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝒙
    𝟐
    (𝟐) = 𝒇(𝑥1
    1 𝑤2,1
    1 + 𝑥2
    1 𝑤2,2
    1 + 𝑏
    2
    (1))
    𝒙
    𝟑
    (𝟐) = 𝒇(𝑥1
    1 𝑤3,1
    1 + 𝑥2
    1 𝑤3,2
    1 + 𝑏
    3
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒃
    𝟑
    (𝟏)
    𝑏
    2
    (1)
    𝑏
    1
    (1)
    

    View Slide

22. Forward propagation
    Second Layer
    

    View Slide

23. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

24. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

25. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

26. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

27. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

28. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

29. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

30. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

31. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)
    

    View Slide

32. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝒘
    𝟏,𝟏
    𝟐
    𝑤
    2,1
    2
    𝒘
    𝟏,𝟐
    𝟐
    𝑤
    2,2
    2
    𝒘
    𝟏,𝟑
    𝟐
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝒃
    𝟏
    (𝟐)
    

    View Slide

33. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝑤
    1,1
    2
    𝒘
    𝟐,𝟏
    𝟐
    𝑤
    1,2
    2
    𝒘
    𝟐,𝟐
    𝟐
    𝑤
    1,3
    2
    𝒘
    𝟐,𝟑
    𝟐
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟐
    (𝟑) = 𝒇(𝑥1
    2 𝑤2,1
    2 + 𝑥2
    2 𝑤2,2
    2 + 𝑥3
    2 𝑤2,3
    2 + 𝑏
    2
    (2))
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒃
    𝟐
    (𝟐)
    𝑏
    1
    (2)
    

    View Slide

34. Forward propagation
    Third Layer
    

    View Slide

35. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

36. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

37. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

38. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

39. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

40. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑥
    1
    (4) 𝑥
    2
    (4)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

41. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)
    

    View Slide

42. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝒘
    𝟏,𝟏
    𝟑
    𝑤
    2,1
    3
    𝒘
    𝟏,𝟐
    𝟑
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝒃
    𝟏
    (𝟑)
    

    View Slide

43. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝑤
    1,1
    3
    𝒘
    𝟐,𝟏
    𝟑
    𝑤
    1,2
    3
    𝒘
    𝟐,𝟐
    𝟑
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟐
    (𝟒) = 𝒇(𝑥1
    3 𝑤2,1
    3 + 𝑥2
    3 𝑤2,2
    3 + 𝑏
    2
    (3))
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝒃
    𝟐
    (𝟑)
    𝑏
    1
    (3)
    

    View Slide

44. Forward propagation
    Summary
    

    View Slide

45. 𝑾(𝟏)
    𝑩(𝟏)
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)
    

    View Slide

46. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)
    

    View Slide

47. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)
    

    View Slide

48. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐))
    𝑾(𝟑)
    𝑩(𝟑)
    

    View Slide

49. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐))
    𝑾(𝟑)
    𝑩(𝟑)
    𝑿(𝟒) = 𝒇(𝑿(𝟑)𝑾(𝟑) + 𝑩(𝟑))
    

    View Slide

50. Thank you
    

    View Slide