Random Variables(1)

첫 번째 그림은 Probability Density function(pdf)로 어떤 값에 대한 확률을 나타낸다.

두 번째 그림은 Cumulative Density function(cdf)로 확률변수가 특정 값 이하가 될 확률을 보여준다.

cdf를 미분하게 되면 pdf의 결과를 가지게 된다.

cdf에서 확률변수 X는 특정 값 x보다 작거나 같을 확률을 나타나고 위와 같은 식으로 정의된다.

joint pdf, joint cdf

위의 식은 joint pdf와 cdf를 나타내는 그림으로 두 개 이상의 연속 확률변수에 대한 확률분포를 설명하는 함수이다.

두 확률 변수가 동시에 특정값을 가질 확률을 나타낸다.

또한 해당 함수가 독립적이라면 위와 같이 식이 정의될 수 있다.

여기에서 J는 Jacobian Transfrom이다.

X, Y라는 두 개의 확률변수가 있을 때 두 확률변수의 관계를 쉽게 이해하기 위해 새로운 확률변수 U, V를 만든다.

이러한 U, V가 어떻게 분포하는지 알고 싶어 위의 식으로 표현을 한다.

여기에서 J를 통해 U, V가 얼마나 변하는지 측정할 수 있다. 

Characteristic function

위의 식은 특성방정식으로 위와 같이 표현된다. 특성방정식을 통해 확률분포 X의 분포를 완전하게 설명가능하다.

그리고 만약 Y가 모든 확률분포의 합이라고 가정을 하고 독립적이라면 아래의 식이 유도된다..

또한 inverse fourier transform을 해주게 되면 아래의 식이 나타난다.

Multivariate Gaussian Random Vector

multivariate gaussian random vector는 여러 개의 가우시안 확률변수들이 모여서 이룬 벡터를 나타낸다.각 확률변수들은 가우시안 분포를 따르고 벡터 전체는 위의 분포를 따른다.위의 벡터는 평균 벡터와 공분산 행렬이 정말 중요하다.

위처럼 M개의 joint random variable이 있다고 생각해 보면 벡터 x는 M*1의 랜덤 한 열벡터로 만들어진다.

또한 해당 벡터의 joint pdf는 위와 같이 정의된다.

평균 벡터

공분산 공식을 활용하여 벡터 x의 공분산도 구할 수 있다.

Ux = mean vector

Cx = covariance matrix

|Cx| = determinant

X = dimension M*1

multivariate Gaussian pdf으로 여러 개의 확률 변수에 대한 가우시안 분포를 동시에 고려한 분포를 의미한다.

y=AX를 통해 X와 Y에 관한 수식이다. 이것을 활용하여 Y의 공분산을 x에 관한 식으로 완성할 수 있다. 위는 증명과정이다.

A가 위와 같이 주어졌다면 Xm을 random variables의 합이라고 하면 Y는 위의 식을 따른다.

그 식을 통해 gaussian variable의 평균과 공분산을 구할 수 있다.

만약 각각의 Xi가 독립적이다면 박스 안의 식으로 공분산은 대체가능하다

joint distribution moment

위의 과정을 통해 동시에 어떤 값을 가질 확률의 평균을 공분산의 3차 미분을 통해 알 수 있다.

예제

만약 x의 random variables의 평균과 공분산이 위와 같이 주어졌을 때 우리의 목표는 y의 평균과 공분산을 구하는 것이다.

초기 y 식을 통해서 A를 구할 수 있다.

x의 평균과 공분산을 활용해 y의 평균과 공분산을 구하는 과정이다.