신경망 뼈대 구축하기

신경망의 기본은 매우 간단하다. 답을 찾고, 그 답이 맞는지를 확인한 다음, 맞으면 ㅇㅋ 아니면 '아냐 이거 아니야'라면서 다시 값을 조절한다. 하지만 이 세 단계를 이해하기까지 오랜 시간이 걸렸고, 세부적인 것들을 더 이해하려면 더 오랜 시간이 필요할 것 같다. 

기본 공식 : y = x * Weight (가중치) + bias (편향)          

이것만으로는 linear 하기 때문에 non-linearity를 주기 위해 activation function을 쓴다. (다만 이 activation function이 어떤식으로 non-linearity를 주는지는 모르겠다)

Machine learning 공식이 linear가 되면 안되는 이유 = 똑같은 행동을 하면서 다른 결과를 기대하는 건 미친짓이다 - 아인슈타인

그럼 non-linear 여야만 하는 이유? 현실 세계가 non-linear 하므로. 내가 이해한 방식은 파도의 파동을 이해하려는데, 자를 갖고 이해할 수는 없다-이다. 하지만 자가 여러개라면? 이래저래 갖다 붙여서 어째어째 삼각형에 비슷하게 만들수도, 원에 가깝게 만들수도.. 그 이외에 여러가지 형태를 만들 수도 있을 것이다. 자를 편미분이라고 해보면 딱 맞...지만 내가 이해한 방식이 맞는지는 모른다. 그냥 초보 수준도 아닌 생초보 단계에서의 이해도가 깊기는 어렵고, intuitive intuitive (정말 cs231n 보다보면 많이 나온다) 하지만 직관이라는 것도 경험이 축적된 뒤에야 나오는 것이니...

Regularization

L2 regularization

L1 regularization

Elastic net (L1 + L2)

Max norm regularization

Dropout

Facier : Batch norm regularization, stochastic depth