Обучение на невронната мрежа. ◦ Алгоритъм на Нютон ◦ Алгоритъм на Гаус-Нютон ◦ Алгоритъм на Левенберг–Маркуарт ◦ Времеви редове Симулиране с използване на невроната мрежа.
Σ f u 2 Σ f u n w 11 w n,1 w 1m w 2m w n,m x 2 . . . . . . . . . b 1 b 2 b n w 12 w 22 w n,2 Σ F y 1 Σ F y 2 Σ F y q . . . . . . d 1 d 2 d q v 11 v 21 v q,1 v 12 V 22 v q,2 v 1,n v 2,n v q,n s 1 s 2 s n r 1 r 2 r q x – inputs y - outputs b, d – bias w, v - weights F, f – activation functions
квадрати ) ( ) ( ) ( ... ) ( ) ( ) ( 24 24 24 1 1 1 k y k y k e k y k y k e ref ref − = − = Изходна грешка (1) ( ) ( ) ( ) ( ) ∑ = ∈ = = m i i R e S n 1 2 T x 2 1 min e e 2 1 min min x x x x (2) ∑∑ = = = N k i i k e S 1 24 1 2 ) ( ) (x
( ) ( ) ( ) k k T k k k T k x x J x H x J x J p e 1 ) ( ) ( ) ( ) ( − + = ( ) ( ) ( ) k k k k p x x λ + = +1 (3) (4) H- Hessian matrix J- Jacobian matrix
) ( ) ( 1 ) ( ) ( ) ( e k k T k k T k x x J x J x J p − − = ( ) ( ) ( ) ( ) ( ) ) ( ) ( 1 ) ( ) ( ) ( ) 1 ( e k k T k k T k k k x x J x J x J x x − + − = λ (5) (6) H- Hessian matrix J-Jacobian matrix
0 , e ) ( ) ( 1 ) ( ) ( ) ( > + − = − k k k T k k k T k µ µ x x J E x J x J p ( ) ( ) ( ) ( ) ( ) ) ( ) ( 1 ) ( ) ( ) ( ) 1 ( e k k T k k k T k k k x x J E x J x J x x − + + − = µ λ (7) (8) H-Hessian matrix J-Jacobian matrix E-Identity matrix