当前位置：首页 > news >正文

【数学】什么是最大似然估计？如何求解最大似然估计

news 2025/7/14 10:18:58

背景

最大似然估计（Maximum Likelihood Estimation, MLE）是一种估计统计模型参数的方法。它在众多统计学领域中被广泛使用，比如回归分析、时间序列分析、机器学习和经济学。其核心思想是：给定一个观测数据集，找到一组参数，使得在这些参数下观测到当前数据的可能性（似然）最大。

公式

假设我们有一个参数为 $\theta$ 的概率分布，观测数据为 $(x_1, x_2, \ldots, x_n)$ ，则似然函数（Likelihood Function）可以表示为：
$L(\theta; X) = P(X|\theta) = \prod_{i=1}^n P(x_i|\theta)$

为了简化计算，我们通常使用对数似然函数（Log-Likelihood Function）：
$\ell(\theta; X) = \log L(\theta; X) = \sum_{i=1}^n \log P(x_i|\theta)$

最大似然估计的目标是找到参数 $\theta$ ，使得对数似然函数 $\ell(\theta; X)$ 达到最大值。即：
$\hat{\theta} = \arg \max_\theta \ell(\theta; X)$

示例题目

正态分布的概率密度函数（PDF）可以表示为：
$f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$

假设我们有一组观测数据 $(x_1, x_2, \ldots, x_n)$ ，这些数据都来自于一个正态分布 $N(\mu, \sigma^2)$ 。我们希望估计正态分布的参数 $\mu$ 和 $\sigma^2$ 。
观测数据为 $(x_1, x_2, \ldots, x_n)$ 。

详细讲解

写出似然函数：根据正态分布的概率密度函数，似然函数可以写为：
似然函数 $L(\mu, \sigma^2; X)$ 是在给定参数 $\mu$ 和 $\sigma^2$ 下，观测数据 $X$ 出现的概率。对于独立同分布的数据，这个概率是每个数据点概率密度的乘积，即：
$L(\mu, \sigma^2; X) = \prod_{i=1}^n f(x_i|\mu, \sigma^2)$

将正态分布的概率密度函数代入似然函数中，得到：
$L(\mu, \sigma^2; X) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$

对数似然函数

取对数：为了简化计算，取对数得到对数似然函数：
$\ell(\mu, \sigma^2; X) = \sum_{i=1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) \right)$
进一步简化：
$\ell(\mu, \sigma^2; X) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2$
求导并解方程：对 $\mu$ 和 $\sigma^2$ 分别求导并令其等于零，可以得到参数的估计值。
对 $\mu$ 求导：
$\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) = 0$
解得：
$\hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i$

对 $\sigma^2$ 求导：
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 = 0$
解得：
$\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2$

Python代码求解

import numpy as np# 观测数据
X = np.array([2.3, 1.9, 3.1, 2.8, 2.4])# 估计参数
mu_hat = np.mean(X)
sigma_squared_hat = np.var(X, ddof=0)print("估计的均值 μ:", mu_hat)
print("估计的方差 σ^2:", sigma_squared_hat)