Deep Learning From Scratch, Ch3

Transcript

1. 밑바닥부터 시작하는 딥러닝 3 장. 신경망 2017.02.13 이동준
2. 퍼셉트론에서 신경망으로 퍼셉트론: 복잡한 함수도 표현, 단 가중치 매개변수는 수동으로 설정. 신경망: 가중치 매개변수를 데이터로부터 자동으로 학습.
3. 신경망 퍼셉트론과 차이?
4. 활성화 함수 퍼셉트론의 활성화 함수: 계단(Step) 함수 신경망의 활성화 함수: 시그모이드(Sigmoid) 함수
5. 왜 시그모이드(Sigmoid) 함수 인가? 활성함수 = 비선형 함수 선형 함수이면 층을 아무리 깊게 해도 은닉층 없는 네트워크와 똑같이 표 현 가능함.
6. 다층 신경망 Matrix 로 쉽게 계산됨
7. 다층 신경망 (구현) # L a y e r 1 ( I n p u t ) x = n p . a r r a y ( [ 1 . 0 , 0 . 5 , 0 . 3 ] ) b 1 = n p . a r r a y ( [ 0 . 1 , 0 . 2 , 0 . 3 ] ) # L a y e r 2 W 1 = n p . a r r a y ( [ [ 0 . 1 , 0 . 3 , 0 . 5 ] , [ 0 . 2 , 0 . 4 , 0 . 6 ] , [ . . . ] ] ) a 1 = n p . d o t ( x , W 1 ) + b 1 z 1 = s i g m o i d ( a 1 ) b 2 = n p . a r r a y ( [ 0 . 1 , 0 . 2 ] ) # L a y e r 3 W 2 = n p . a r r a y ( [ [ 0 . 1 , 0 . 4 ] , [ 0 . 2 , 0 . 5 ] , [ 0 . 3 , 0 . 6 ] ] ) a 2 = n p . d o t ( z 1 , W 2 ) + b 2 z 2 = s i g m o i d ( a 2 ) b 3 = n p . a r r a y ( [ 0 . 1 , 0 . 2 ] ) # L a y e r 4 ( O u t p u t ) W 3 = n p . a r r a y ( [ [ 0 . 1 , 0 . 3 ] , [ 0 . 2 , 0 . 4 ] ] ) a 3 = n p . d o t ( z 2 , W 3 ) + b 3 y = i d e n t i t y _ f u n c t i o n ( a 3 )
8. 출력층 기계학습 문제: 회귀 or 분류 회귀의 출력층 활성함수: 항등 함수 분류의 출력 활성함수: 소프트맥스 함수
9. ReLU vanishing gradient 문제의 원인은 sigmoid 함수가 값을 변형해서 발생
10. Q & A