대수의 법칙, 중심극한정리

 

대수의 법칙 (Law of Large Numbers)

대수의 법칙 또는 라플라스의 정리는 큰 모집단에서 무작위로 뽑은 표본의 평균이 전체 모집단의 평균과 가까울 가능성이 높다는 통계와 확률 분야의 기본 개념이다.

기댓값에서 어떤 확률을 가진 사건을 무한히 시행하면 그 사건의 결과는 평균에 수렴한다.

출처: https://ko.wikipedia.org/wiki/%ED%81%B0_%EC%88%98%EC%9D%98_%EB%B2%95%EC%B9%99

 

 

합성곱 (Convolution)

 

합성곱(convolution)은 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자이다.

두 개의 함수 f, g 가 있을 때, 두 함수의 합성곱을 수학 기호로는  f * g  와 같이 표시한다.

합성곱 연산은 두 함수 f, g 가운데 하나의 함수를 반전(reverse), 전이(shift)시킨 다음, 다른 하나의 함수와 곱한 결과를 적분하는 것을 의미한다. 이를 수학 기호로 표시하면 다음과 같다.

또한 g 함수 대신에 f 함수를 반전, 전이 시키는 경우 다음과 같이 표시할 수도 있다. 이 두 연산은 형태는 다르지만 같은 결과값을 갖는다.

 

 

위의 적분에서 적분 구간은 함수 f와 g가 정의된 범위에 따라서 달라진다. 또한 두 확률 변수 X와 Y가 있을 때 각각의 확률 밀도 함수를 f와 g라고 하면, X+Y의 확률 밀도 함수는 f * g 로 표시할 수 있다.

출처: https://ko.wikipedia.org/wiki/%ED%95%A9%EC%84%B1%EA%B3%B1

 

 

중심극한정리 (Central Limit Theorem)

중심 극한 정리(central limit theorem, 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 즉, 임의의 모집단에서 표본이 충분히 크다면, 이 표본평균의 분포는 정규분포에 근사한다.
(참고: 확률변수 Xi 가 임의의 표본 추출의 결과일 때, 평균은 표본평균이다.)

매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 정규분포로 수렴한다.

예시: 균등분포 (uniform distribution) 으로 설명한 중심극한정리
--> 각 표본은 균등분포이지만, 표본이 증가할수록 표본평균은 정규분포를 따른다.


알아야 할 개념
- 표본평균은 정규분포이다.
- 표본평균을 표준화하면 표준정규분포이다.

따라서 당연히 표본평균을 표준화하면 그 결과의 분포는 표준정규분포에 근사한다.

중심극한정리의 증명은 적률생성함수를 이용한다. 증명의 핵심은 표본평균의 적률생성함수가 N 이 무한대일 때, 어떤 적률생성함수로 수렴하는지에 대한 것이다. (표준정규분포의 적률생성함수로 수렴한다.)

어떤 Y 라는 확률변수가 X1 ~ Xn 까지의 확률변수의 합일 때, Y도 중심극한 정리에 의해 n 이 무한대로 가면, 정규분포를 따른다.

 

--> Y ~ N(n*u, n*sigma^2)

[ Y 의 정규분포 ]

중심극한정리는 주어진 조건에 따라 여러 가지가 있다.

출처: https://ko.wikipedia.org/wiki/%EC%A4%91%EC%8B%AC_%EA%B7%B9%ED%95%9C_%EC%A0%95%EB%A6%AC