$30 off During Our Annual Pro Sale. View Details »

Forward Propagation in Neural Networks

Hachimada
November 19, 2023

Forward Propagation in Neural Networks

This slide shows the formula for forward propagation in a neural network in an easy-to-understand diagram.
This slide will help you understand how the values of the formula are used in the network.

Hachimada

November 19, 2023
Tweet

Other Decks in Science

Transcript

  1. Detailed and Visual Understanding of
    Forward Propagation in Neural Networks

    View Slide

  2. Weight matrix representation

    View Slide

  3. 𝑥1
    𝑥2

    View Slide

  4. 𝑥1
    𝑥2
    𝑤1,1
    1
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤2,1
    1
    𝑤3,1
    1
    𝑤1,2
    1
    𝑤2,2
    1
    𝑤3,2
    1

    View Slide

  5. 𝑥1
    𝑥2
    𝑤1,1
    1
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤2,1
    1
    𝑤3,1
    1
    𝑤1,2
    1
    𝑤2,2
    1
    𝑤3,2
    1
    The weights from a 2-node layer to 3-node layer
    can be expressed as a (2×3) matrix.

    View Slide

  6. 𝑥1
    𝑥2
    𝑤1,1
    1
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤2,1
    1
    𝑤3,1
    1
    𝑤1,2
    1
    𝑤2,2
    1
    𝑤3,2
    1
    𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑤1,1
    2
    𝑤2,1
    2
    𝑤1,2
    2
    𝑤2,2
    2
    𝑤1,3
    2
    𝑤2,3
    2

    View Slide

  7. 𝑥1
    𝑥2
    𝑤1,1
    1
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤2,1
    1
    𝑤3,1
    1
    𝑤1,2
    1
    𝑤2,2
    1
    𝑤3,2
    1
    𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑤1,1
    2
    𝑤2,1
    2
    𝑤1,2
    2
    𝑤2,2
    2
    𝑤1,3
    2
    𝑤2,3
    2
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑤
    1,1
    (3)
    𝑤
    2,1
    (3)
    𝑤
    1,2
    (3)
    𝑤
    2,2
    (3)

    View Slide

  8. Forward propagation

    View Slide

  9. Forward propagation
    First Layer

    View Slide

  10. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  11. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  12. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  13. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  14. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  15. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  16. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  17. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝒇 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    Activation Function
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  18. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝑓(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  19. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝒘
    𝟏,𝟏
    (𝟏)
    𝑤
    2,1
    (1)
    𝑤
    3,1
    (1)
    𝒘
    𝟏,𝟐
    (𝟏)
    𝑤
    2,2
    (1)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝑏
    2
    (1)
    𝒃
    𝟏
    (𝟏)

    View Slide

  20. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝒘
    𝟐,𝟏
    (𝟏)
    𝑤
    3,1
    (1)
    𝑤
    1,2
    (1)
    𝒘
    𝟐,𝟐
    (𝟏)
    𝑤
    3,2
    (1)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝒙
    𝟐
    (𝟐) = 𝒇(𝑥1
    1 𝑤2,1
    1 + 𝑥2
    1 𝑤2,2
    1 + 𝑏
    2
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝑏
    3
    (1)
    𝒃
    𝟐
    (𝟏)
    𝑏
    1
    (1)

    View Slide

  21. 𝒙
    𝟏
    (𝟏)
    𝒙
    𝟐
    (𝟏)
    𝑋(1) = 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑊(1) =
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    𝑤
    1,1
    (1)
    𝑤
    2,1
    (1)
    𝒘
    𝟑,𝟏
    (𝟏)
    𝑤
    1,2
    (1)
    𝑤
    2,2
    (1)
    𝒘
    𝟑,𝟐
    (𝟏)
    𝒙
    𝟏
    (𝟐)
    𝒙
    𝟐
    (𝟐)
    𝒙
    𝟑
    (𝟐)
    𝑋(2) = 𝑓(𝑋(1)𝑊(1) + 𝐵(1)) = 𝑓 𝑥
    1
    (1) 𝑥
    2
    (1)
    𝑤
    1,1
    (1) 𝑤
    2,1
    (1) 𝑤
    3,1
    (1)
    𝑤
    1,2
    (1) 𝑤
    2,2
    (1) 𝑤
    3,2
    (1)
    + 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒙
    𝟏
    (𝟐) = 𝒇(𝑥1
    1 𝑤1,1
    1 + 𝑥2
    1 𝑤1,2
    1 + 𝑏
    1
    (1))
    𝒙
    𝟐
    (𝟐) = 𝒇(𝑥1
    1 𝑤2,1
    1 + 𝑥2
    1 𝑤2,2
    1 + 𝑏
    2
    (1))
    𝒙
    𝟑
    (𝟐) = 𝒇(𝑥1
    1 𝑤3,1
    1 + 𝑥2
    1 𝑤3,2
    1 + 𝑏
    3
    (1))
    𝐵(1) = 𝑏
    1
    (1) 𝑏
    2
    (1) 𝑏
    3
    (1)
    𝒃
    𝟑
    (𝟏)
    𝑏
    2
    (1)
    𝑏
    1
    (1)

    View Slide

  22. Forward propagation
    Second Layer

    View Slide

  23. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  24. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  25. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  26. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  27. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  28. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  29. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  30. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  31. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝑤
    1,1
    2
    𝑤
    2,1
    2
    𝑤
    1,2
    2
    𝑤
    2,2
    2
    𝑤
    1,3
    2
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝑏
    1
    (2)

    View Slide

  32. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝒘
    𝟏,𝟏
    𝟐
    𝑤
    2,1
    2
    𝒘
    𝟏,𝟐
    𝟐
    𝑤
    2,2
    2
    𝒘
    𝟏,𝟑
    𝟐
    𝑤
    2,3
    2
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝑏
    2
    (2)
    𝒃
    𝟏
    (𝟐)

    View Slide

  33. 𝑊(2) =
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝑤
    1,1
    (2) 𝑤
    2,1
    (2)
    𝑤
    1,2
    (2) 𝑤
    2,2
    (2)
    𝑤
    1,3
    (2) 𝑤
    2,3
    (2)
    + 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒙
    𝟏
    (𝟑) = 𝒇(𝑥1
    2 𝑤1,1
    2 + 𝑥2
    2 𝑤1,2
    2 + 𝑥3
    2 𝑤1,3
    2 + 𝑏
    1
    (2))
    𝑤
    1,1
    2
    𝒘
    𝟐,𝟏
    𝟐
    𝑤
    1,2
    2
    𝒘
    𝟐,𝟐
    𝟐
    𝑤
    1,3
    2
    𝒘
    𝟐,𝟑
    𝟐
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟐
    (𝟑) = 𝒇(𝑥1
    2 𝑤2,1
    2 + 𝑥2
    2 𝑤2,2
    2 + 𝑥3
    2 𝑤2,3
    2 + 𝑏
    2
    (2))
    𝑋(3) = 𝑓(𝑋(2)𝑊(2) + 𝐵(2)) = 𝑓
    𝑋(2) = 𝑥
    1
    (2) 𝑥
    2
    (2) 𝑥
    3
    (2)
    𝐵(2) = 𝑏
    1
    (2) 𝑏
    2
    (2)
    𝒃
    𝟐
    (𝟐)
    𝑏
    1
    (2)

    View Slide

  34. Forward propagation
    Third Layer

    View Slide

  35. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  36. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  37. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  38. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  39. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  40. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑥
    1
    (4) 𝑥
    2
    (4)
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  41. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝑤
    1,1
    3
    𝑤
    2,1
    3
    𝑤
    1,2
    3
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝑏
    1
    (3)

    View Slide

  42. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝒘
    𝟏,𝟏
    𝟑
    𝑤
    2,1
    3
    𝒘
    𝟏,𝟐
    𝟑
    𝑤
    2,2
    3
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝑏
    2
    (3)
    𝒃
    𝟏
    (𝟑)

    View Slide

  43. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑋(4) = 𝑓(𝑋(3)𝑊(3) + 𝐵(3)) = 𝑓 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    + 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒) = 𝒇(𝑥1
    3 𝑤1,1
    3 + 𝑥2
    3 𝑤1,2
    3 + 𝑏
    1
    (3))
    𝑤
    1,1
    3
    𝒘
    𝟐,𝟏
    𝟑
    𝑤
    1,2
    3
    𝒘
    𝟐,𝟐
    𝟑
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟐
    (𝟒) = 𝒇(𝑥1
    3 𝑤2,1
    3 + 𝑥2
    3 𝑤2,2
    3 + 𝑏
    2
    (3))
    𝐵(3) = 𝑏
    1
    (3) 𝑏
    2
    (3)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑋(3) = 𝑥
    1
    (3) 𝑥
    2
    (3)
    𝑊(3) =
    𝑤
    1,1
    (3) 𝑤
    2,1
    (3)
    𝑤
    1,2
    (3) 𝑤
    2,2
    (3)
    𝒃
    𝟐
    (𝟑)
    𝑏
    1
    (3)

    View Slide

  44. Forward propagation
    Summary

    View Slide

  45. 𝑾(𝟏)
    𝑩(𝟏)
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)

    View Slide

  46. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)

    View Slide

  47. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑾(𝟑)
    𝑩(𝟑)

    View Slide

  48. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐))
    𝑾(𝟑)
    𝑩(𝟑)

    View Slide

  49. 𝑥
    1
    (1)
    𝑥
    2
    (1)
    𝑥
    1
    (2)
    𝑥
    2
    (2)
    𝑥
    3
    (2)
    𝒙
    𝟏
    (𝟑)
    𝒙
    𝟐
    (𝟑)
    𝒙
    𝟏
    (𝟒)
    𝒙
    𝟐
    (𝟒)
    𝑿(𝟏)
    𝑾(𝟏)
    𝑩(𝟏)
    𝑿(𝟐) = 𝒇(𝑿(𝟏)𝑾(𝟏) + 𝑩(𝟏))
    𝑾(𝟐)
    𝑩(𝟐)
    𝑿(𝟑) = 𝒇(𝑿(𝟐)𝑾(𝟐) + 𝑩(𝟐))
    𝑾(𝟑)
    𝑩(𝟑)
    𝑿(𝟒) = 𝒇(𝑿(𝟑)𝑾(𝟑) + 𝑩(𝟑))

    View Slide

  50. Thank you

    View Slide