Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 스몰토크
- CommunicateWiththeWorld
- #영어발음교정
- 오피스밋업
- 장어랑고기같이
- #체험수업
- 뉴노멀챌린지
- #링글후기
- 링글커리어
- 화상영어
- 영어로전세계와소통하기
- 영어시험
- #링글
- 해외취업컨퍼런스
- #nlp
- 둔촌역장어
- 링글
- 영어공부
- #영어공부
- 총각네장어
- Ringle
- 링글경험담
- #Ringle
- 성내동장어
- #직장인영어
- 영어회화
- 소통챌린지
- 강동구장어맛집
- 영어공부법
- 링글리뷰
Archives
- Today
- Total
Soohyun’s Machine-learning
misc NN information 본문
- activation function을 ReLU로 쓸 때, initial value는 보통 He initializer로 해준다.
w = np.random.randn(n) * sqrt(2.0 / n)
- Batch normalization : 많이 쓰는 테크닉이니 알아두는게 좋다. bad initialization에 강하다.
Batch normalization layer는 보통 fully-connected layers 아니면 convolution layer 뒤에 바로 둔다. 그리고 non-linearity 앞에 둔다.
(non-linearity는 activation function을 말하는건가???)
- L2 regularization을 gradient descent parameter 를 update 할 때, every weight is decayed linearly towards zero
W += -lambda * W
'Lectures > CS231N (ML basic)' 카테고리의 다른 글
| Loss function + Convolutional Neural Networks (0) | 2017.10.16 |
|---|---|
| Backpropagation and Neural Networks (0) | 2017.10.15 |
| Questions (0) | 2017.10.14 |
| k-Nearest Neighbor Algorithm (0) | 2017.10.12 |
| Module1 : Image Classification: Data-driven Approach, k-Nearest Neightbor, train/vall/test splits (0) | 2017.10.10 |
'Lectures/CS231N (ML basic)' Related Articles
more
Comments