Soohyun’s Machine-learning

graphical model의 inference 문제를 보자. 그래프에서 관측된 값들로 다른 노드들의 posterior distribution을 구하려고 한다. 앞으로 보게될테지만, graphical structure를 사용해서 추론에 효과적인 알고리즘을 찾을 수도, 이 알고리즘을 알려주는 structure를 만들 수도 있다. 많은 알고리즘들이 그래프상에서의 local messages의 propagate, 전파로 표현할 수 있다. Bayes Theorem의 graphical interpretation을 생각해보자. joint distribution $p(x,y)$는 아래와 같이 decompose 할 수 있다. 위의 공식에서 marginal distribution $p(x)$는 latent variable..

Probabilistic Graphical Models 확률적 그래피컬 모델이 가진 속성들 1. 확률적 모델의 스트럭쳐를 보여줄 수 있는 간단한 방법을 제공하며 새로운 모델을 만드는데 동기부여가 될 수도 있다. 2. 모델의 속성들에 대한 인사이트(그래프를 검사하는걸로 얻어낼 수 있는, 조건부 독립 속성 conditional independence properties 포함) 를 제공한다. 3. 복잡한 연산, 복잡한 모델을 배워야 하고 추론을 해야한다. 그래프는 노드 nodes (버텍스, vertex/vertices)와 그걸 이어주는 링크 links (엣지 edges, 아크 arcs)로 구성되어 있다. graphical models에서 각 노드는 확률 변수 random variable (or group of..

가우시안 프로세스에서는 parametric model을 쓸 것이다. (함수에 prior distribution을 direct하게 적용하지 않는다.) 이럴 경우 함수에서 uncountably infinite space를 생각할 수 있는데, finite data set만 생각하면 된다. ARMA, Kalman filters, radial basis function networks 도 가우시안 프로세스 모델의 형태라고 볼 수 있다. 6.4.1 Linear regression revisited linear regression으로 돌아가서 y(x, w) 함수에 대한 predictive distribution을 다시 유도해보자. M개의 고정된 기저 함수들(fixed basis functions)간의 linear c..

4.1.6. Fisher's discriminant for multiple classes 앞서 본 2개 클래스의 Fisher discriminat 판별식 generalization을 보고자 한다. 여기서는 input space인 D가 클래스 개수인 K보다 크다고 가정하고 간다. input space인 D를 낮은 차원으로 변환하는 식 (bias는 없다.) weight vectors w_k는 위의 식의 matrix W의 column이다. 이 matrix W의 컬럼의 개수는 D' 개이며, 마찬가지로 input space D보다 작다. K개의 클래스가 있을 때의, within-class의 covariance matrix S_W는 아래와 같이 정의된다. 여기서 S_k와 m_k는 각각 아래와 같이 정의된다. 가장 ..

2.4 The Exponential Family 2챕터 안에서 지금까지 배운 내용들은 모두 exponential family라고 불리는 분포 클래스의 세부 예시들이었다. 이름답게 이 패밀리의 members는 공통적되는 특성들이 있다. 데이터 x에 대한 분포의 exponential family는 아래 형태처럼, 분포의 세트로 정의된다. x : scalar or vector η (eta) : natural parameters (분포가 내재하고 있는 파라미터들 : e.g.) mean & variance in Gaussian) u(x) : x의 어떤 함수 g(η) : 계수로 생각하면 되는 어떤 함수, 아래 (2.195) 수식을 만족하는지를 체크하여, 분포가 normalize 된 상태인지를 확인한다. x가 dis..

주어진 finite set x1, ... , xN (데이터)에서, random variable x의 probability distribution p(x)를 모델링하는 것을 density estimation이라고 한다. 이 챕터에서 나오는 모든 분포들은 Bayesian 관점에서의 prior들이며, i.i.d 하다고 가정한다. 그리고 이 분포들은 exponential family에 속한다. i.i.d : independent and identically distributed Random variables 란? - 확률 현상에 기인해서 결과값이 확률적으로 정해지는 변수 constant : 상수, 정해져 있는 값 variable : 변수, 확률적으로 변할 수 있는 수 아래는 이 챕터에서 다루는 parametri..

notations가 헷갈려서 정리.. 생각날때마다 업뎃. 단순한 notations간 category 분류만을 위한 포스트이다. Most of the notations based on the book title "Pattern Recognition and Machine Learning" vector (column vector,basic vector form) 행벡터, 벡터의 기본 형태. (row vector) 열벡터 row vector with M elements If we have N values of a D-dimensional vector we can combine the observations into a data matrix X in which the row of X corresponds to t..