Soohyun’s Machine-learning

차원의 저주 (curse of dimension) : 차원이 증가하면 그것을 표현하기 위한 data의 양이 기하급수적으로 증가한다는 것. dimensio이 증가할 수록 해당 공간의 크기가 기하급수적으로 증가하기 때문에, 동일한 개수의 data의 밀도는 차원이 증가할수록 sparse 해진다. 때문에 차원이 증가할수록 데이터의 분포 분석 또는 모델 추정에 필요한 샘플 데이터 개수가 기하급수적으로 증가하는 어려움을 표현한 용어이다. 그래서 핵심 파라미터들만 선별해서 문제의 dimension을 낮추려고 한다. (dimensionality reduction) 여기에 쓰이는게 PCA (주성분 분석)이고, CNN의 pooling (subsampling)도 같은 역할을 한다. 흐름, 규칙 발견이 어려운 고차원 문제를 ..

Computer Science for Beginners Harvard cs50 : http://www.edwith.org/connect_cs/joinLectures/10008Khan Academy : https://ko.khanacademy.org/computing/computer-science/algorithms/intro-to-algorithms/v/what-are-algorithms compiler : 고급 언어로 된 프로그램을 해당 언어의 기계어로 번역해주는 프로그램한번 컴파일이 되면 (다시 컴파일하지 않고) 반복적으로 수행이 가능하다. interpreter : 고급언어를 알아듣는 컴퓨터를 모사. (컴파일러와 대비되는 개념)원시 프로그램을 한꺼번에 번역하지 않고, 문장 단위로 번역해서 실행. 실행..

- 머신러닝 학습 모델의 특성상, 모델을 그래프로 정의하고, 세션을 만들어서 그래프로 실행하고, 세션이 실행될 때 그래프에 동적으로 값을 넣어가면서(피딩, feeding) 실행한다는 기본 개념을 잘 이해해야 텐서플로 프로그래밍을 제대로 잘 할 수 있다. - 사이즈가 window size인 이유 : 주변 단어를 몇 개를 "본다"는 뜻이기 때문에. window 크기로 슬라이딩하면서 스크린하며 중심 단어들로 주변 단어들을 보고 각 단어에 해당하는 벡터들의 요소값들을 조금씩 업데이트하면서 단어를 벡터로 임베딩 - 아타리 퐁 게임을 어떻게 학습시키는지를 알려주는 카파시(Karpathy - yup! cs231n의 그 사람!) http://karpathy.github.io/2016/05/31/rl/ http://ka..

각종 자료들이 많은 곳 : http://www.whydsp.org/284 (모두의 연구소 출처, 특히 fundamental 한 이해를 도울 수 있는 영문 자료들) ※ 기반 언어는 Python / OS는 Windows 10 (Docker) 텐서플로우 - Tensorflowhttps://www.tensorflow.org/api_docs/python/ 텐서플로 한글 문서 - Tensorflow krhttps://www.gitbook.com/book/tensorflowkorea/tensorflow-kr/details 텐서플로우 튜토리얼 깃허브https://github.com/golbin/TensorFlow-Tutorials 파이토치 - Pytorchhttp://pytorch.org/docs/master/ 넘파이..

====================================================================================AXIS==================================================================================== x = [[ 1., 2.,], [ 3., 4.]] -------------> axis = 1||v axis = 0 가장 안쪽의 축은 axis=-1이라고 한다. 여기에서는 axis=1 과 동일하다. axis axis axis0 1 2 ..... 이런식으로 축이 간다. 안쪽일수록 rank (차원) - 1이나 마찬가지임. 3차원이면 axis 2가 가장 안쪽 축. 일일이 계산하는 번거로움이 있으므로 그냥 가..

1. matrix multiplication과 dot product의 차이는 dot product는 말 그대로 점곱 또는 내적. matrix multiplication은 행렬곱 // multiply는 곱셈으로 해석되며, product도 곱이라는 뜻. product가 더 추상적으로 쓰일 수 있는 용어이다. orthogonal : 직교 (3D 보다 더 큰 dimension에서도 사용된다.)perpendicular : 직교 (3D 보다 더 큰 dimension에서는 사용되지 않는다.) 2. learning_rate 는 알파로 표현되며, gradient descent 식에 들어간다3. 2차원 그래프에서 g(z)는 세로축, z는 가로축. z가 1이면 g(z)는 0, z가 0이면 g(z)는 무한대에 가까워진다.4...

feedforward NN으로 해보자 (굳이 신경망이 아니라 feedforward NN이라고 쓰는 이유는, 신경망에 backpropagation 형태도 있기 때문) 먼저 x 라는 값이 있다. 그리고 y라는 label (일종의 정답지)이 있다. 그리고 Weight (가중치)이 있으며, bias (편향)이 있다. 이 x라는 매트릭스 (array, 벡터, 행렬.. 어떤 형태든지간에 일단은 floating point든 integer든 숫자들의 집합)가 Weight과 곱해진다. weight 값을 그럼 어떻게 줘야 하느냐. 그냥 numpy의 random.randn / random.uniform / random.normal 등을 써서 랜덤한 값을 줄 수도 있고..tensorflow를 써도 numpy와 비슷하게 해서 ..

해당 가상 환경은 파이썬 3.5에서 했다. (activate tf) 1. 비주얼 스튜디오 2015를 설치한다. CUDA가 GTX 1050을 인식 못하는 문제가 있으나, 이 부분은 그냥 무시하고 지나가도 상관없는 듯 하다. 몇 번을 깔아도 CUDA가 비주얼 스튜디오를 인식을 못하길래, 결국 해외 사이트를 구글링. CUDA 8.0 버전은 비주얼 스튜디오 2015를 지원한다고 해서 그걸로 깔았더니 그제서야 드디어!! CUDA가 인식하고 넘어갔다. 2. cDNN 도 설치. 3. 아나콘다를 설치할 때, PATH 등록 체크를 반드시 해주고 깐다. not recommended 이지만 GPU로 돌리려고 하면 필요한 작업인 듯 하다. 그리고 아나콘다 프롬프트로 conda install을 통해 가상 환경 작업이랑, num..