您的位置:

极大似然估计法的步骤

一、极大似然估计法的原理

极大似然估计法是一种经典的参数估计方法。其核心思想是,在给定观测数据的情况下,通过寻找最可能产生该数据的模型参数值,来对模型参数进行估计。假设有一组$n$个独立同分布的随机变量$X_1,X_2,...,X_n$,其共同的概率密度函数为$f(x;\theta)$,其中,$\theta$为未知参数。那么,这组观测数据的联合概率密度函数为:

$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$

极大似然估计的思想就是在所有可能的$\theta$值中,选取一个值$\hat{\theta}$,使得$L(\hat{\theta})$最大。

二、极大似然函数求解步骤

通过对极大似然函数进行求解,就可以得到极大似然估计值。下面是极大似然函数求解的具体步骤:

Step 1:列出联合概率密度函数$L(\theta)$;

Step 2:对$L(\theta)$取对数,得到对数似然函数$lnL(\theta)$;

Step 3:对$lnL(\theta)$求导,得到导数为0的方程;

Step 4:解方程得到$\hat{\theta}$,即为极大似然估计值。

三、极大似然估计法例题

例题1:假设有一组观测数据$X_1,X_2,...,X_n$,其服从二项分布$B(n,p)$。试用极大似然估计法估计参数$p$。

解:
根据二项分布的概率密度函数,有:
$$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

那么,该组观测数据的联合概率密度函数为:

$$L(p)=\prod_{i=1}^n f(x_i;p)=\prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

对$L(p)$取对数,得到对数似然函数:

$$lnL(p)=\sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$

对$lnL(p)$求导,得到:

$$\frac{d lnL(p)}{dp}=\frac{\sum_{i=1}^n x_i}{p}-\frac{\sum_{i=1}^n n-x_i}{1-p}$$

令导数为0,解得:

$$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$$

因此,参数$p$的极大似然估计值为$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$。

例题2:假设有一组观测数据$X_1,X_2,...,X_n$,其服从正态分布$N(\mu,\sigma^2)$。试用极大似然估计法估计参数$\mu$和$\sigma^2$。

解:
根据正态分布的概率密度函数,有:
$$f(x_i;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

那么,该组观测数据的联合概率密度函数为:

$$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

对$L(\mu,\sigma^2)$取对数,得到对数似然函数:

$$lnL(\mu,\sigma^2)=-\frac{n}{2}ln(2\pi)-nln(\sigma)-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}$$

对$lnL(\mu,\sigma^2)$求导,得到:

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$

令导数为0,解得:

$$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$$

$$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$$

因此,参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$和$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$。

四、SPSS极大似然估计法的步骤

在SPSS中,可以通过选择合适的模型和数据,来进行极大似然估计。其具体步骤如下:

Step 1:在SPSS界面中,选择Analyze→Regresstion→Binary Logistic或Linear Regression等;

Step 2:在Dependent Variable框中输入因变量,选择相关的自变量,并设置为连续变量;

Step 3:在先前假设的模型界面中,选择Estimate;

Step 4:在Estimate窗口中选择Method选项卡,选择Maximum Likelihood;

Step 5:点击Continue按钮,得到输出结果,包括参数估计值、标准误差、似然比、卡方值等信息。

五、极大似然估计步骤

总结以上讨论的极大似然估计法的步骤,包括:

1. 列出联合概率密度函数;

2. 对联合概率密度函数取对数,得到对数似然函数;

3. 对对数似然函数求导,得到导数为0的方程;

4. 解方程,得到极大似然估计值。

六、极大似然法的步骤

在实际应用中,极大似然法的步骤也可以归纳为以下三步:

1. 确定参数模型;

2. 计算对数似然函数的导数;

3. 求解导数为0的方程,得到极大似然估计值。

七、极大似然估计法例题求助

例题3:在一次铸件试验中,随机选取10个铸件,测得其强度值(单位:MPa)为:

330 361 284 328 346
339 341 332 349 353

假定强度值服从正态分布$N(\mu,\sigma^2)$,试用极大似然估计法估计参数$\mu$和$\sigma^2$。

解:
根据样本数据,有:
$$n=10$$

$$\sum_{i=1}^n x_i=3363$$

$$\sum_{i=1}^n (x_i-\bar{x})^2=5868$$

那么,该组观测数据的联合概率密度函数为:

$$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

对$L(\mu,\sigma^2)$取对数,得到对数似然函数:

$$lnL(\mu,\sigma^2)=-5ln(\sigma)-\frac{n}{2}ln(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$

对$lnL(\mu,\sigma^2)$求导,得到:

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$

令导数为0,解得:

$$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}=336.3$$

$$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n}=586.8$$

因此,参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=336.3$和$\hat{\sigma}^2=586.8$。