Soohyun’s Machine-learning

Free Dos 레노버 컴퓨터 사전 준비물 - 레노보 홈페이지에서 wirelesslan 드라이버를 받는다. (솔까 사운드 드라이버야 인터넷 연결 후 받아도 되지만.. 이거 없이 하려고 하면 진짜 디짐... 이틀간 온갖 오류들로 진짜 고생했다. 드라이버 설명으로는 win11 꺼라는데 win10에 적용해도 별 상관없는 듯.. 걍 되더라) 윈도우 10 설치 기준 1. 시리얼 키없음 상태로, 윈도우 설치 usb를 사용해 설치 완료하기 2. 은색 USB에 드라이버들 있음. wlan driver - 와이파이 드라이버부터 먼저 깔기 3. windows update 쫙쫙 해주기 4. sound driver 1이랑 2 전부 다 깔아줘야 제대로 됨 5. intel 홈페이지가서 업데이트들 다 받기 (블루투스랑 arch.. ..

Amazon Mechanical Turk (AMT) 워커들의 업무 효율과 결과물에 대해서 크라우드소싱 리퀘스터들은 의문과 불안함을 갖고 있다. 너무 다양한 워커들이 있고, 그 워커들의 결과물이 리퀘스터가 원했던 것과 많이 달랐기 때문인데... 이 문제점들을 파헤쳐보고자 한다. HIT : Human Intelligence Task 2. Background 2.1 워커 비용 지급 AMT에서의 워커들의 평균 급여는 1시간에 3.13 달러 정도인데, 리퀘스터는 보통 시간 당 11.58 달러의 비용을 지불한다. 이렇게 차이나는 이유는 대부분의 HITs가 낮은 비용을 주기 때문이다. (이 논문을 쓴) 연구자들은 AMT 워커들이 조금만 일하고자 했고, 보상의 크기는 데이터 퀄리티에 별 영향을 주지 못했을거라 믿었다...

AWS를 가볍게는 알고 있는데, 실제 서비스는 잘 몰라서 서평 리뷰를 남기고 받은 책이다. 책의 목적 AWS가 AI와 관련한 어떤 서비스를 제공하고 있는지를 알려주는 책이다. 인공지능 붐의 배경과 기계학습에 대한 간단한 설명, AWS의 머신러닝 서비스들에 대해서 설명을 해주고 있다. 중간중간 간단한 모델들에 대한 설명도 친절하게 잘 되어 있다. 좋았던 점 - AWS에서 어떤 서비스를 제공하는지, 그리고 그 서비스를 어떻게 활용할 수 있는지를 고민하는 분들이라면 읽어볼만한 책이다. - AWS나 Azure같은 서비스들이 무엇인지 잘 모르는 분들이라면, 읽어보면 아-이런거구나!하고 알 수 있을 것 같다. - 책 전체적인 플로우가 무척 친절해서, 잘 모르는 사람이라도 하나하나 스크린샷을 보고 읽으면서 따라할 수..

graphical model의 inference 문제를 보자. 그래프에서 관측된 값들로 다른 노드들의 posterior distribution을 구하려고 한다. 앞으로 보게될테지만, graphical structure를 사용해서 추론에 효과적인 알고리즘을 찾을 수도, 이 알고리즘을 알려주는 structure를 만들 수도 있다. 많은 알고리즘들이 그래프상에서의 local messages의 propagate, 전파로 표현할 수 있다. Bayes Theorem의 graphical interpretation을 생각해보자. joint distribution $p(x,y)$는 아래와 같이 decompose 할 수 있다. 위의 공식에서 marginal distribution $p(x)$는 latent variable..

Probabilistic Graphical Models 확률적 그래피컬 모델이 가진 속성들 1. 확률적 모델의 스트럭쳐를 보여줄 수 있는 간단한 방법을 제공하며 새로운 모델을 만드는데 동기부여가 될 수도 있다. 2. 모델의 속성들에 대한 인사이트(그래프를 검사하는걸로 얻어낼 수 있는, 조건부 독립 속성 conditional independence properties 포함) 를 제공한다. 3. 복잡한 연산, 복잡한 모델을 배워야 하고 추론을 해야한다. 그래프는 노드 nodes (버텍스, vertex/vertices)와 그걸 이어주는 링크 links (엣지 edges, 아크 arcs)로 구성되어 있다. graphical models에서 각 노드는 확률 변수 random variable (or group of..

가우시안 프로세스에서는 parametric model을 쓸 것이다. (함수에 prior distribution을 direct하게 적용하지 않는다.) 이럴 경우 함수에서 uncountably infinite space를 생각할 수 있는데, finite data set만 생각하면 된다. ARMA, Kalman filters, radial basis function networks 도 가우시안 프로세스 모델의 형태라고 볼 수 있다. 6.4.1 Linear regression revisited linear regression으로 돌아가서 y(x, w) 함수에 대한 predictive distribution을 다시 유도해보자. M개의 고정된 기저 함수들(fixed basis functions)간의 linear c..

※ I allowed translating and posting the article "The Annotated Transformer" to Korean by Dr. Rush. original page : https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer from IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the last year. Besides producing major impr..

4.1.6. Fisher's discriminant for multiple classes 앞서 본 2개 클래스의 Fisher discriminat 판별식 generalization을 보고자 한다. 여기서는 input space인 D가 클래스 개수인 K보다 크다고 가정하고 간다. input space인 D를 낮은 차원으로 변환하는 식 (bias는 없다.) weight vectors w_k는 위의 식의 matrix W의 column이다. 이 matrix W의 컬럼의 개수는 D' 개이며, 마찬가지로 input space D보다 작다. K개의 클래스가 있을 때의, within-class의 covariance matrix S_W는 아래와 같이 정의된다. 여기서 S_k와 m_k는 각각 아래와 같이 정의된다. 가장 ..

2.4 The Exponential Family 2챕터 안에서 지금까지 배운 내용들은 모두 exponential family라고 불리는 분포 클래스의 세부 예시들이었다. 이름답게 이 패밀리의 members는 공통적되는 특성들이 있다. 데이터 x에 대한 분포의 exponential family는 아래 형태처럼, 분포의 세트로 정의된다. x : scalar or vector η (eta) : natural parameters (분포가 내재하고 있는 파라미터들 : e.g.) mean & variance in Gaussian) u(x) : x의 어떤 함수 g(η) : 계수로 생각하면 되는 어떤 함수, 아래 (2.195) 수식을 만족하는지를 체크하여, 분포가 normalize 된 상태인지를 확인한다. x가 dis..

주어진 finite set x1, ... , xN (데이터)에서, random variable x의 probability distribution p(x)를 모델링하는 것을 density estimation이라고 한다. 이 챕터에서 나오는 모든 분포들은 Bayesian 관점에서의 prior들이며, i.i.d 하다고 가정한다. 그리고 이 분포들은 exponential family에 속한다. i.i.d : independent and identically distributed Random variables 란? - 확률 현상에 기인해서 결과값이 확률적으로 정해지는 변수 constant : 상수, 정해져 있는 값 variable : 변수, 확률적으로 변할 수 있는 수 아래는 이 챕터에서 다루는 parametri..

Contribution character level의 embedding을 통해 word-level language model의 성능을 향상하는 방법을 제시했다. (네트워크 자체는 당시 보편적인 걸 사용했지만, input으로 char-level을 사용함으로써 word-level embedding이 정말 필요한 것인가-라는 의문을 제기한다. 영어, 체코어, 독일어, 스페인어, 불어, 러시아어, 아랍어 데이터셋으로 실험을 진행했다. 형태소가 풍부한 언어일수록 성능차이가 word-level 대비 더 좋게 나왔다. 여기까지가 장점이며 단점으로는 성능은 괜찮지만 char-level 자체가 efficiency - time tradeoff가 있다.) Abstract 우리는 오로지 Char-level inputs에만 의..

*Python 3.x / Jupyter Lab & PyCharm *Writer is a novice of Kaggle and Machine learning. *This page is created for personal study fulfillment so the contents possibly look a little bit messy and not organized things. Python 기준 초보자의 시점입니다. 개인 정리를 위한 것이라서 꾸준히 업데이트 됩니다. 1. data를 불러와서, .head()와 .info(), 그리고 .describe()로 칼럼들과 전체적인 내용들을 체크. 각 feature별 data type을 체크하고, 해당 칼럼이 어떤 내용을 담고 있는지, 내가 얻어낼 수 있는게..

notations가 헷갈려서 정리.. 생각날때마다 업뎃. 단순한 notations간 category 분류만을 위한 포스트이다. Most of the notations based on the book title "Pattern Recognition and Machine Learning" vector (column vector,basic vector form) 행벡터, 벡터의 기본 형태. (row vector) 열벡터 row vector with M elements If we have N values of a D-dimensional vector we can combine the observations into a data matrix X in which the row of X corresponds to t..

Prerequisites (for preliminaries ... -_-;;) - Knowledge of probability - Linear algebra - Calculus - Geometry (a little bit) Weight Decay L : function (특정한 하나의 function을 지칭한다기보다, 각 problem에 dependent한 function 각각을 추상화해서 지칭한다고 보면 된다.) l_0 : function의 initial w : weight 1/2 : normalization term (뒤에 w^2가 붙어있어서 그냥 computational convenience를 위해 넣어주는 애.. 사실 없어도 무관하다) lambda : weight decay를 실질적으로 수행하는 ..

https://byeongkijeong.github.io/ARIMA-with-Python/ ARIMA, python으로 하는 Time series analysis (Feat. 비트코인 가격예측) ARIMA (Autoregressive Integrated Moving Average) AR (AutoRegressive, 자기회귀) 이전(t-1) observation의 error term이 이후 observation에 영향을 주는 것. AR(1)일 경우의 공식 X_t = theta * X_(t-1) + epsilon_t I (Integrated, 적분) Integrated MA (Moving Average, 이동평균) observation의 값이 이전의 연속적인 error termn's'의 영향을 받음 MA(..

(컴퓨터 로컬에다가 설치하는 거다) 오라클 Database를 다운 받는다. (아래는 Database Express Edition 11g Release 2 버전)다운받을 때 오라클 로그인을 하라고 뜬다. 계정이 있으면 로긴을 해주고, 없으면 만들어서 로긴하자. 제대로 로그인이 되었다면, 그 창 아래에 그대로 zip파일이 다운로드 되니.. 화면이 바뀌지 않는다고 '읭?? 다운 안되나??' 하지 말 것 https://www.oracle.com/technetwork/database/database-technologies/express-edition/downloads/index.html 오라클 Client를 다운 받는다. (링크 있었는데 까먹음. 아래 리스트에서 잘 찾아볼 것) https://www.oracle...

출처 : https://en.wikipedia.org/wiki/Probability_space In probability theory, a probability space or a probability triple (omega, F, P) is a mathematical construct that models a real-world process (or "experiment") consisting of states that occur randomly. ㄴ which is the set of all possible outcomes ㄴ where each event is a set containing zero or more outcomes ㄴ That is a function P from events to ..

XGBoost 출처 : https://brunch.co.kr/@snobberys/137 1. 훌륭한 Gradient Boosting library. 병렬 처리를 사용하기에 학습, 분류가 빠름 2. 유연성이 좋다. evaluation function을 포함해서 다양한 커스텀 최적화 옵션을 제공함 3. Greedy-algorithm을 사용해 auto pruning이 가능하다. overfitting이 잘 발생하지 않음 4. 다른 algorithm과 연계 활용성이 좋다. XGBoost classifier 결론부 아래에 다른 algorithm을 붙여서 ensemble learning이 가능하다. Boosting이란? (Boosting or Additive Training) Boosting은 약한 classifie..

출처 : https://ko.wikipedia.org/wiki/%EA%B0%80%EB%8A%A5%EB%8F%84 Likelihood (가능도, 우도) likelihood는 probability distribution의 parameter가 어떤 random variable (확률 변수)의 표집값(importance sampling ratio라는데.. 흠;; 그냥 sampling이라고 봐도 무방할것 같다)과 일관되는 정도를 나타내는 값이다... 라고 위키가 말했다. 또 likelihood function은 probability distribution이 아니며, 합해서 1이 안 될 수 있다. 모르겠으니 definition부터 보자. random variable X가 parameter theta에 대한 prob..