ML - Lecture 2: Point estimation

---

◼︎ Estimators

• 추정량
  • Point estimation: Single best prediction을 얻기 위한 시도, 단 하나의 해임
  • Bayesian learning: 확률 분포를 포함하고 있음(불확실성을 내포)
    ☞Point estimation이 확률 값 자체라면 bayesian은 분포표까지 생각하는 것

◼︎ Maximum likelihood estimation(MLE) for a Binomibal distribution

Machine learning에서 확률을 표현하는 기호로는 $\theta$로 사용한다.
만약 Head, Tail만 경우의 수가 나타나는 것으로 했을 때,

P(D|$\theta$) = $\theta^{a_H} (1-\theta)^{a_T}$
그렇다면 probability와 likelihood는 무었일까? 일단 probability(확률)은 우리에게 익숙하다. 왜냐하면 $\theta$가 주어지는 문제를 여태까지 풀어왔기 때문이다. 주사위 던지기, 가위바위보 등 확률이 이미 정해져 있지 않은가? 하지만 likelihood와 같은 경우는 모르는 $\theta$값을 찾는 것이 목적이다. 그래서 그래프가 연속적으로 그려지게 되는 것이다.

MLE : Choose $\theta$ that maximizes the likelihood of observed data (빈도가 제일 큰부분의 위치 $\theta$를 찾아냄)

$\hat{\theta}$ = arg max P(D|$\theta$) = arg max ln P(D|$\theta$)
☞ max는 말 그대로 진짜 그 함수의 최대값을 의미한다.
☞ arg max는 함수값이 최대가 되는 위치를 알려줌. $f(x)$가 최대일 때 $x$값을 리턴한다는 뜻
☞ $\hat{\theta}$ 은 보통 $\theta$ 의 추정치일 때 사용

우리가 함수의 local maximum을 찾을 때 미분값이 0이 되는 숫자를 찾는것 처럼 $\hat{\theta}$를 구할 수 있다.
$\frac{d}{d\theta}$ln P(D|$\theta$) = 0 $\to$ $\frac{a_H}{\theta} + \frac{-a_T}{1 - \theta}$ = 0
$a_H - a_H\theta - a_T\theta$ = 0, $\hat{\theta}$ = $\frac{a_H}{a_H + a_T}$

$\hat{\theta}_{MLE}$ = $\frac{a_H}{a_H + a_T}$

◼︎ Hoeffding’s Inequality (PAC, Probably Approximately Correct)

$N = a_H + a_T =$ 시행횟수인데 이게 커질수록 정확도가 올라가지 않을까?
그래서 Hoeffding’s Inequality를 이용을 하는거다.

$P(\vert \hat{\theta}_{MLE} - \theta^*\vert \geq \epsilon) \leq 2e^{-2N\epsilon^2}$

• $\theta^{*}$ :완벽한 solution
  

• $\vert\hat{\theta}_{MLE} -\theta\vert$ : errors
  

• $\epsilon$ :오차범위, 즉 N이 커질수록 점점 정확해지는 것이다.
  
  

◼︎ MLE for continuous variables(Gaussians)

• Gaussians
  $f_{\mu, \sigma^2}(x_i) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right)$
  
  우선 가우시안을 learning한다는 뜻은 $\mu$와 $\sigma$를 estimate한다는 것이다. 위에서 확률 $\theta$를 추정했듯이 가우시안에서는 두 가지 요소를 이용한다.
  

• Properties of Gaussians

  1. Sum of Gaussian
     If $X→N({\mu_x},{\sigma_x^2})$ and $X→N({\mu_y},{\sigma_y^2})$, $Z = X + Y$, than $X→N({\mu_x}+{\mu_y},{\sigma_x^2}+{\sigma_y^2})$
     
  2. Multiplying of Gaussian
     $E(Y) = E(aX+b) = aE(X) + b = a{\mu} + b$
     $Var(Y) = Var(aX+b) = Var(aX) = (a^2)Var(X) = a^2{\sigma^2}$
     ${\therefore}$ $X→N({\mu},{\sigma^2})$, if $Y = aX + b, Y→N(a{\mu} + b, a^2{\sigma^2})$
     
     

그래서 MLE를 Gaussian적용하면

$P(D|\mu, \sigma) = \prod_{i=1}^{N}f_{\mu, \sigma^2}(x_i) = (\frac{1}{\sigma\sqrt{2\pi}})^N \prod_{i=1}^{N}\exp \left( -\frac{(x_i-\mu)^2}{2\sigma^2} \right)$

가 되고 log를 취한 꼴은

$ln P(D|\mu, \sigma) = -N \ln {\sigma\sqrt{2\pi}} - \sum_{i=1}^{n} \frac{(x_i-\mu)^2}{2\sigma^2}$
가 된다.

그래서 $\mu$에 대해 편미분하고 $\sigma$에 대해 편미분을 통해 0이되는 값을 찾으면

\[\begin{aligned} \frac{\partial}{\partial\mu}\ln p(D\mid\mu,\sigma) &=\frac{\partial}{\partial\mu}\left[-N\ln(\sigma\sqrt{2\pi})-\sum_{i=1}^{N}\frac{(x_i-\mu)^2}{2\sigma^2}\right]\\ &=\frac1{\sigma^2}\sum_{i=1}^{N}(x_i-\mu)=0 \quad\Longrightarrow\quad \sum_{i=1}^{N}(x_i-\mu)=0. \end{aligned}\]

${\hat{\mu}}_{MLE} = \frac{1}{n}\sum_{i=1}^{n}x_i$ : sample mean

\[\begin{aligned} \frac{\partial}{\partial\sigma}\ln p(D\mid\mu,\sigma) &=\frac{\partial}{\partial\sigma}\left[-N\ln(\sigma\sqrt{2\pi})-\sum_{i=1}^{N}\frac{(x_i-\mu)^2}{2\sigma^2}\right]\\ &=-\frac N\sigma+\frac1{\sigma^3}\sum_{i=1}^{N}(x_i-\mu)^2=0. \end{aligned}\]

평균도 함께 추정하는 경우 $\mu=\hat\mu_{\mathrm{MLE}}$를 대입한다.

${\hat{\sigma}^2}_{MLE} = \frac{1}{N}\sum_{i=1}^{N}\left(x_i-\hat\mu_{MLE}\right)^2$ : sample variance
를 구할 수 있다.
이렇게 구했지만 이건 이상적인 값이라서 true parameter로 사용할 수 없다. 그래서 biased라는게 생기게 되는데 biased = Estimation - golden solution이 된다. ($Bias(X) = E(X) - X^{*}$)
bias가 0이면 반복 표본추출에서 추정량의 기댓값이 참값과 같다는 뜻이며, 이를 unbiased라고 한다. 한 번의 추정값이 참값과 정확히 일치한다는 뜻은 아니다. 추가적으로 unbiased된 것은 다음과 같이 나타낸다. ${\hat{\sigma}^2}_{unbiased} = \frac{1}{N-1}\sum_{i=1}^{N}\left(x_i-\hat\mu_{MLE}\right)^2$

재밌는 성질 중 하나는 ${\mu}$와 ${\sigma}^2$의 bais 상태가 서로 다르다는 것이다.

• MLE for the expectation of a Gaussian is unbiased

\[\mathbb E[\hat\mu_{\mathrm{MLE}}] =\mathbb E\!\left[\frac1N\sum_{i=1}^{N}x_i\right] =\frac1N\sum_{i=1}^{N}\mathbb E[x_i] =\frac1N(N\mu)=\mu.\]

그러므로 $\hat{\mu}_{MLE}$는 unbiased이다.

• MLE for the variance of a Gaussian is biased

$\hat\mu=\frac1N\sum_i x_i$로 두고 제곱을 전개한다.

\[\begin{aligned} \mathbb E[\hat\sigma^2_{\mathrm{MLE}}] &=\mathbb E\!\left[\frac1N\sum_{i=1}^{N}(x_i-\hat\mu)^2\right]\\ &=\mathbb E\!\left[\frac1N\sum_{i=1}^{N}\big((x_i-\mu)-(\hat\mu-\mu)\big)^2\right]\\ &=\mathbb E\!\left[\frac1N\sum_i(x_i-\mu)^2\right] -2\mathbb E\!\left[\frac1N\sum_i(x_i-\mu)(\hat\mu-\mu)\right] +\mathbb E\!\left[\frac1N\sum_i(\hat\mu-\mu)^2\right]. \end{aligned}\]

원본의 색상 상자로 표시한 두 항은 다음 관계로 정리된다.

\[\frac1N\sum_i(x_i-\mu)=\hat\mu-\mu, \qquad \frac1N\sum_i(\hat\mu-\mu)^2=(\hat\mu-\mu)^2.\] \[\mathbb E[\hat\sigma^2_{\mathrm{MLE}}] =\mathbb E\!\left[\frac1N\sum_i(x_i-\mu)^2\right] -2\mathbb E[(\hat\mu-\mu)^2]+\mathbb E[(\hat\mu-\mu)^2].\]

독립·동일분포 표본의 분산을 $\sigma^2$라 하면

\[\begin{aligned} \mathbb E[\hat\sigma^2_{\mathrm{MLE}}] &=\sigma^2-\mathbb E[(\hat\mu-\mu)^2]\\ &=\sigma^2-\operatorname{Var}(\hat\mu)\\ &=\sigma^2-\frac1{N^2}\operatorname{Var}\!\left(\sum_{i=1}^{N}x_i\right)\\ &=\sigma^2-\frac1{N^2}N\sigma^2 =\frac{N-1}{N}\sigma^2. \end{aligned}\]

따라서 MLE 분산 추정량은 아래로 편향된다. $N>1$일 때 보정하면

\[\boxed{\hat\sigma^2_{\mathrm{unbiased}} =\frac{N}{N-1}\hat\sigma^2_{\mathrm{MLE}} =\frac1{N-1}\sum_{i=1}^{N}(x_i-\hat\mu_{\mathrm{MLE}})^2}, \qquad \mathbb E[\hat\sigma^2_{\mathrm{unbiased}}]=\sigma^2.\]

그래서 unbiased 된 variance를 찾고 싶으면 위의 보정식처럼 $\left(\frac{N}{N-1}\right)$을 곱해줘야 하는것이다.