최대우도추정(Maximum Likelihood Estimation, MLE)은 주어진 데이터로부터 확률 모델의 매개변수를 추정하는 통계적 방법입니다. MLE는 관찰된 데이터를 가장 잘 설명하는 매개변수 값을 찾기 위해 우도(likelihood)를 최대화하는 원리를 사용합니다.
\(\)개념
1.우도 함수(Likelihood Function):
- 우도 함수는 주어진 데이터가 특정 매개변수 값에서 얼마나 가능성이 높은지를 나타냅니다.
- 확률 밀도 함수와 유사하지만, 데이터를 고정하고 매개변수를 변동시켜 매개변수의 가능성을 평가합니다.
- 주어진 데이터 \(\mathbf{x} = (x_1, x_2, \ldots, x_n)\)와 매개변수 \(\theta\)에 대해, 우도 함수는 \(L(\theta | \mathbf{x}) = P(\mathbf{x} | \theta)\)로 나타낼 수 있습니다.
2.로그 우도 함수(Log-Likelihood Function):
- 계산의 편리함을 위해 우도 함수의 로그를 취하여 로그 우도 함수로 변환합니다.
- \( \ell(\theta | \mathbf{x}) = \log L(\theta | \mathbf{x}) \).
- 로그를 취하면 곱셈이 덧셈으로 바뀌어 계산이 간단해집니다.
3.최대화:
- 로그 우도 함수를 최대화하는 매개변수 값을 찾습니다.
- 수학적으로, 매개변수 \(\theta\)에 대해 \( \hat{\theta} = \arg \max_{\theta} \ell(\theta | \mathbf{x}) \)를 계산합니다.
예제
정규 분포(평균 \(\mu\), 분산 \(\sigma^2)\)의 MLE를 예로 들어 설명해보겠습니다.
- 우도 함수:
주어진 데이터 \(\mathbf{x} = (x_1, x_2, \ldots, x_n)\)가 정규 분포를 따른다고 가정할 때, 우도 함수는 다음과 같습니다:
\[
L(\mu, \sigma^2 | \mathbf{x}) = \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{(x_i – \mu)^2}{2 \sigma^2} \right)
\] - 로그 우도 함수:
로그를 취하면:
\[
\ell(\mu, \sigma^2 | \mathbf{x}) = \sum_{i=1}^{n} \left( -\frac{1}{2} \log(2 \pi \sigma^2) – \frac{(x_i – \mu)^2}{2 \sigma^2} \right)
\] - 최대화:
로그 우도 함수를 최대화하기 위해, \(\mu\)와 \(\sigma^2\)에 대해 편미분하고 0으로 설정합니다:
\[
\frac{\partial \ell}{\partial \mu} = 0 \quad \Rightarrow \quad \hat{\mu} = \frac{1}{n} \sum_{i=1} x_i
\]
\[
\frac{\partial \ell}{\partial \sigma^2} = 0 \quad \Rightarrow \quad \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1} (x_i – \hat{\mu})^2
\]
따라서, 정규 분포의 MLE는 샘플 평균과 샘플 분산으로 추정할 수 있습니다.
장점과 단점
장점:
- 일반성: MLE는 다양한 분포와 모델에 적용될 수 있습니다.
- 효율성: 충분한 샘플 크기가 있을 때, MLE 추정량은 최소 분산을 가지는 불편 추정량입니다.
단점:
- 계산 복잡성: 복잡한 모델의 경우, MLE를 계산하기 위해 수치적 최적화 방법이 필요할 수 있습니다.
- 극값 문제: 우도 함수가 여러 극값을 가질 수 있어 전역 최적값을 찾기 어려울 수 있습니다.
- 샘플 크기 민감성: 작은 샘플 크기에서는 추정값의 분산이 클 수 있습니다.
예제2
위 그림은 정규 분포의 최대우도추정(MLE)을 시각화한 것입니다.
- 로그 우도 함수: \(\mu\)와 \(\sigma\) 값에 따른 로그 우도 함수의 값을 색깔로 표현한 등고선 그림입니다. 진한 색일수록 우도가 높은 영역을 나타냅니다.
- 최대 우도 추정값: 빨간 점으로 표시된 부분이 로그 우도 함수의 최대값을 가지는 \(\mu\)와 \(\sigma\)의 조합입니다. 이 점이 주어진 데이터에 대해 가장 가능성이 높은 매개변수 값입니다.
이 그림은 MLE가 데이터의 분포를 가장 잘 설명하는 매개변수를 찾기 위해 로그 우도 함수를 최대화하는 방법을 시각적으로 보여줍니다.
