Soohyun’s Machine-learning

워드 벡터를 만드는데, 먼저 count-based vectors를 만든다. co-occurrence matrix를 만든다. 말 그대로 frequency 기준. 하지만 이 matrix는 sparse하고 매우 large하기 때문에 dimensionality reduction을 해준다. 세부적으로는, SVD (generalized PCA의 일종)를 해서 top-k의 principal components를 선택한다. 그 다음에 같이 등장하는 words간의 embeddings를 plotting. 그 다음으로는, distinc_words, 즉, 단어별로 서로 분리한다. return은 corpus에 있는 words (unique), 그리고 단어들의 개수, 두 개임. list 형태, 그리고 그 다음에는 co-occur..