Soohyun’s Machine-learning

※ I allowed translating and posting the article "The Annotated Transformer" to Korean by Dr. Rush.  original page : https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformerfrom IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the last year. Besides producing major impr..

4.1.6. Fisher's discriminant for multiple classes 앞서 본 2개 클래스의 Fisher discriminat 판별식 generalization을 보고자 한다. 여기서는 input space인 D가 클래스 개수인 K보다 크다고 가정하고 간다. input space인 D를 낮은 차원으로 변환하는 식 (bias는 없다.) weight vectors w_k는 위의 식의 matrix W의 column이다. 이 matrix W의 컬럼의 개수는 D' 개이며, 마찬가지로 input space D보다 작다. K개의 클래스가 있을 때의, within-class의 covariance matrix S_W는 아래와 같이 정의된다. 여기서 S_k와 m_k는 각각 아래와 같이 정의된다. 가장 ..

2.4 The Exponential Family 2챕터 안에서 지금까지 배운 내용들은 모두 exponential family라고 불리는 분포 클래스의 세부 예시들이었다. 이름답게 이 패밀리의 members는 공통적되는 특성들이 있다. 데이터 x에 대한 분포의 exponential family는 아래 형태처럼, 분포의 세트로 정의된다. x : scalar or vector η (eta) : natural parameters (분포가 내재하고 있는 파라미터들 : e.g.) mean & variance in Gaussian) u(x) : x의 어떤 함수 g(η) : 계수로 생각하면 되는 어떤 함수, 아래 (2.195) 수식을 만족하는지를 체크하여, 분포가 normalize 된 상태인지를 확인한다. x가 dis..

워드 벡터를 만드는데, 먼저 count-based vectors를 만든다. co-occurrence matrix를 만든다. 말 그대로 frequency 기준. 하지만 이 matrix는 sparse하고 매우 large하기 때문에 dimensionality reduction을 해준다. 세부적으로는, SVD (generalized PCA의 일종)를 해서 top-k의 principal components를 선택한다. 그 다음에 같이 등장하는 words간의 embeddings를 plotting. 그 다음으로는, distinc_words, 즉, 단어별로 서로 분리한다. return은 corpus에 있는 words (unique), 그리고 단어들의 개수, 두 개임. list 형태, 그리고 그 다음에는 co-occur..

대학 시절의 미술 평론 공부는 역사와 철학, 두 가지 카테고리로 구분 할 수 있다. 교수님들은 저마다 개성이 넘쳤고, 강의 시간엔 파격적인 말들이 쏟아져나왔다. 한 교수님은 여성에게 가해지는, 모성애에 대한 사회적이고 암묵적인 압박을 가차없이 비판하면서, 한 편으로는 아이를 '창조한다'는 것을 여성만이 독점하고 있음에 질투심을 느끼고 있다고 언급하기도 했다. 박물관장이 친일파 후손이라며 울분을 토했지만, 학생들 입장에서 보기엔 딱히 한국에 대한 애정도 크지 않고, '한국의 모든 유산은 중국으로부터 온 것이다.'라는 자신의 의견을 피력하기에 여념없었던, 주로 역사를 가르치셨던 교수님도 있었다. 단순히 학문적 분류가 아닌 모든 커리큘럼을 아우르는 키워드는 뭔가-라고 생각해보면, 그건 '인간', 정확하게는 '..

I was introduced to English when I was an elementary school student. That English class was repetitive and boring. When I was in my first year of middle school, what was boring became fun because of my workbooks. In the workbook, there were songs that I loved to sing. There were also games, like a game with a map of a town, where we had to find our way from a house to places like the post office..

주어진 finite set x1, ... , xN (데이터)에서, random variable x의 probability distribution p(x)를 모델링하는 것을 density estimation이라고 한다. 이 챕터에서 나오는 모든 분포들은 Bayesian 관점에서의 prior들이며, i.i.d 하다고 가정한다. 그리고 이 분포들은 exponential family에 속한다. i.i.d : independent and identically distributed Random variables 란? - 확률 현상에 기인해서 결과값이 확률적으로 정해지는 변수 constant : 상수, 정해져 있는 값 variable : 변수, 확률적으로 변할 수 있는 수 아래는 이 챕터에서 다루는 parametri..

There are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle. -Albert Einstein Nothing shows a man's character more than what he laughs at. - Wolfgang von Goethe drastic : compromise : multicolinearity : heteroskedasticity : 자료들의 모든 error terms의 variance가 다르다고 가정하는 것 dilate : ~을 팽창시키다, 넓히다, 넓어지다 expenditure : 지출, 소비, 비용 - actual..

Contributioncharacter level의 embedding을 통해 word-level language model의 성능을 향상하는 방법을 제시했다.(네트워크 자체는 당시 보편적인 걸 사용했지만, input으로 char-level을 사용함으로써 word-level embedding이 정말 필요한 것인가-라는 의문을 제기한다. 영어, 체코어, 독일어, 스페인어, 불어, 러시아어, 아랍어 데이터셋으로 실험을 진행했다. 형태소가 풍부한 언어일수록 성능차이가 word-level 대비 더 좋게 나왔다. 여기까지가 장점이며 단점으로는 성능은 괜찮지만 char-level 자체가 efficiency - time tradeoff가 있다.)  Abstract  우리는 오로지 Char-level inputs에만 의..

링글을 처음 시작한 것이 약 1년 전이다. 그 뒤로도 꾸준히 링글을 하면서 영어 실력을 키워나가고 있는데, 가끔(?) 빼먹은 것치고 처음에 비해 실력이 정말 많이 늘었다. [링글 체험 수업 후기] 링글 Ringle 체험 수업 후기 (+1회 무료 체험 수업 코드/2만 포인트) 영어 실력을 가장 빨리 늘리는 방법은 무엇일까? 많은 사람들의 고민일 것이다. 특히 일반적인 커뮤니케이션이 아닌 퀄리티있는 교재와 튜터, 피드백이 필요할 경우엔 더더욱 어떻게 해야할지 답답하다. 그냥 영어.. lee-soohyun.tistory.com 최근 링글이 복습 시스템을 바꾸었는데, 이게 너무 좋아서(!!) 리뷰를 적어보려고 한다. AI, Artificial intelligence 또는 Machine learning은 근 2~..

Novelty 1) very fast and strong with a single CNN layer (이전에도 CNN 쓴 논문들은 있었으나, 큰 효과를 보지는 못함) 2) pre-trained word vector 사용 (google negative300.bin download link) a summary of Abstract & Model architecture We report on a series of experiments with CNN trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and..

*Python 3.x / Jupyter Lab & PyCharm *Writer is a novice of Kaggle and Machine learning. *This page is created for personal study fulfillment so the contents possibly look a little bit messy and not organized things. Python 기준 초보자의 시점입니다. 개인 정리를 위한 것이라서 꾸준히 업데이트 됩니다. 1. data를 불러와서, .head()와 .info(), 그리고 .describe()로 칼럼들과 전체적인 내용들을 체크. 각 feature별 data type을 체크하고, 해당 칼럼이 어떤 내용을 담고 있는지, 내가 얻어낼 수 있는게..

Big-O 계산하는 방법 - 우선, 어디까지나 대략적인 계산이지 정확한 시간을 측정하는 척도는 아니다.- 데이터 수가 적다면 무슨 알고리즘이든 빠를 것이다. 알고리즘간 차이를 느끼려면 데이터의 개수가 많아져야한다. 그런데.. 데이터가 많아질수록 O(.)는 커진다. 때문에 O(n^2)과 O(n+n^2)는 큰 차이가 없다. (쉽게 예시를 들자면 1억개의 데이터에 하나의 데이터를 더한다고 해서 체감할 수 있을 정도의 변화가 일어나지 않는다는 것이다. 그래서 일반적으로 constant - 상수 부분은 Big-O notation 에서 빼버린다.) First step >> N 정하기 In general : n개의 elements를 가진 array가 있을 때, logic상 각 element를 한 번씩만 체크한다면, ..

해외로의 취업 또는 대학원 진학을 준비하고 있다. 개발적인 부분은 실무를 하면서 공부해나가면 되었지만, 영어 회화를 어떻게 해야하는지에 대한 고민이 많았다. 찾다 찾다 링글을 알게 되었고, 지금은 유료 고객이 되어 일주일에 한두 번씩 스케쥴을 잡아놓고 꾸준히 영어 회화 수업을 하고 있다.   간략하게 링글에 대해 설명하자면 미국 아이비리그 학생들이 튜터인 영어 교정 사이트이고, 영어 회화, 에세이, 작문이나 공식적인 영문서 교정 등을 받을 수 있다. 기존 화상 영어로 충분하지 않은 사람들이나, 자신이 쓰는 영단어나 회화 실력을 더 원어민스럽게, 자연스럽게, 수준높게 교정하고 싶은 사람들에게 최상이다.   이 글은 활용법에 포커스가 맞춰진 글이라서.. 링글에 대해서 더 자세하게 알고 싶다면 아래 체험수업 ..

notations가 헷갈려서 정리.. 생각날때마다 업뎃. 단순한 notations간 category 분류만을 위한 포스트이다. Most of the notations based on the book title "Pattern Recognition and Machine Learning" vector (column vector,basic vector form) 행벡터, 벡터의 기본 형태. (row vector) 열벡터 row vector with M elements If we have N values of a D-dimensional vector we can combine the observations into a data matrix X in which the row of X corresponds to t..

Prerequisites (for preliminaries ... -_-;;) - Knowledge of probability - Linear algebra - Calculus - Geometry (a little bit) Weight Decay L : function (특정한 하나의 function을 지칭한다기보다, 각 problem에 dependent한 function 각각을 추상화해서 지칭한다고 보면 된다.) l_0 : function의 initial w : weight 1/2 : normalization term (뒤에 w^2가 붙어있어서 그냥 computational convenience를 위해 넣어주는 애.. 사실 없어도 무관하다) lambda : weight decay를 실질적으로 수행하는 ..

https://byeongkijeong.github.io/ARIMA-with-Python/ ARIMA, python으로 하는 Time series analysis (Feat. 비트코인 가격예측) ARIMA (Autoregressive Integrated Moving Average) AR (AutoRegressive, 자기회귀) 이전(t-1) observation의 error term이 이후 observation에 영향을 주는 것. AR(1)일 경우의 공식 X_t = theta * X_(t-1) + epsilon_t I (Integrated, 적분) Integrated MA (Moving Average, 이동평균) observation의 값이 이전의 연속적인 error termn's'의 영향을 받음 MA(..

(컴퓨터 로컬에다가 설치하는 거다) 오라클 Database를 다운 받는다. (아래는 Database Express Edition 11g Release 2 버전)다운받을 때 오라클 로그인을 하라고 뜬다. 계정이 있으면 로긴을 해주고, 없으면 만들어서 로긴하자. 제대로 로그인이 되었다면, 그 창 아래에 그대로 zip파일이 다운로드 되니.. 화면이 바뀌지 않는다고 '읭?? 다운 안되나??' 하지 말 것 https://www.oracle.com/technetwork/database/database-technologies/express-edition/downloads/index.html 오라클 Client를 다운 받는다. (링크 있었는데 까먹음. 아래 리스트에서 잘 찾아볼 것) https://www.oracle...

출처 : https://en.wikipedia.org/wiki/Probability_space In probability theory, a probability space or a probability triple (omega, F, P) is a mathematical construct that models a real-world process (or "experiment") consisting of states that occur randomly. ㄴ which is the set of all possible outcomes ㄴ where each event is a set containing zero or more outcomes ㄴ That is a function P from events to ..

XGBoost 출처 : https://brunch.co.kr/@snobberys/137 1. 훌륭한 Gradient Boosting library. 병렬 처리를 사용하기에 학습, 분류가 빠름 2. 유연성이 좋다. evaluation function을 포함해서 다양한 커스텀 최적화 옵션을 제공함 3. Greedy-algorithm을 사용해 auto pruning이 가능하다. overfitting이 잘 발생하지 않음 4. 다른 algorithm과 연계 활용성이 좋다. XGBoost classifier 결론부 아래에 다른 algorithm을 붙여서 ensemble learning이 가능하다. Boosting이란? (Boosting or Additive Training) Boosting은 약한 classifie..