一、极大似然估计法的原理
极大似然估计法是一种经典的参数估计方法。其核心思想是,在给定观测数据的情况下,通过寻找最可能产生该数据的模型参数值,来对模型参数进行估计。假设有一组$n$个独立同分布的随机变量$X_1,X_2,...,X_n$,其共同的概率密度函数为$f(x;\theta)$,其中,$\theta$为未知参数。那么,这组观测数据的联合概率密度函数为:
$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$极大似然估计的思想就是在所有可能的$\theta$值中,选取一个值$\hat{\theta}$,使得$L(\hat{\theta})$最大。
二、极大似然函数求解步骤
通过对极大似然函数进行求解,就可以得到极大似然估计值。下面是极大似然函数求解的具体步骤:
Step 1:列出联合概率密度函数$L(\theta)$;
Step 2:对$L(\theta)$取对数,得到对数似然函数$lnL(\theta)$;
Step 3:对$lnL(\theta)$求导,得到导数为0的方程;
Step 4:解方程得到$\hat{\theta}$,即为极大似然估计值。
三、极大似然估计法例题
例题1:假设有一组观测数据$X_1,X_2,...,X_n$,其服从二项分布$B(n,p)$。试用极大似然估计法估计参数$p$。
解: 根据二项分布的概率密度函数,有: $$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 那么,该组观测数据的联合概率密度函数为: $$L(p)=\prod_{i=1}^n f(x_i;p)=\prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 对$L(p)$取对数,得到对数似然函数: $$lnL(p)=\sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$ 对$lnL(p)$求导,得到: $$\frac{d lnL(p)}{dp}=\frac{\sum_{i=1}^n x_i}{p}-\frac{\sum_{i=1}^n n-x_i}{1-p}$$ 令导数为0,解得: $$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$$ 因此,参数$p$的极大似然估计值为$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$。
例题2:假设有一组观测数据$X_1,X_2,...,X_n$,其服从正态分布$N(\mu,\sigma^2)$。试用极大似然估计法估计参数$\mu$和$\sigma^2$。
解: 根据正态分布的概率密度函数,有: $$f(x_i;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 那么,该组观测数据的联合概率密度函数为: $$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 对$L(\mu,\sigma^2)$取对数,得到对数似然函数: $$lnL(\mu,\sigma^2)=-\frac{n}{2}ln(2\pi)-nln(\sigma)-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}$$ 对$lnL(\mu,\sigma^2)$求导,得到: $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$ $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$ 令导数为0,解得: $$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$$ $$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$$ 因此,参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$和$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$。
四、SPSS极大似然估计法的步骤
在SPSS中,可以通过选择合适的模型和数据,来进行极大似然估计。其具体步骤如下:
Step 1:在SPSS界面中,选择Analyze→Regresstion→Binary Logistic或Linear Regression等;
Step 2:在Dependent Variable框中输入因变量,选择相关的自变量,并设置为连续变量;
Step 3:在先前假设的模型界面中,选择Estimate;
Step 4:在Estimate窗口中选择Method选项卡,选择Maximum Likelihood;
Step 5:点击Continue按钮,得到输出结果,包括参数估计值、标准误差、似然比、卡方值等信息。
五、极大似然估计步骤
总结以上讨论的极大似然估计法的步骤,包括:
1. 列出联合概率密度函数;
2. 对联合概率密度函数取对数,得到对数似然函数;
3. 对对数似然函数求导,得到导数为0的方程;
4. 解方程,得到极大似然估计值。
六、极大似然法的步骤
在实际应用中,极大似然法的步骤也可以归纳为以下三步:
1. 确定参数模型;
2. 计算对数似然函数的导数;
3. 求解导数为0的方程,得到极大似然估计值。
七、极大似然估计法例题求助
例题3:在一次铸件试验中,随机选取10个铸件,测得其强度值(单位:MPa)为:
330 361 284 328 346 339 341 332 349 353
假定强度值服从正态分布$N(\mu,\sigma^2)$,试用极大似然估计法估计参数$\mu$和$\sigma^2$。
解: 根据样本数据,有: $$n=10$$ $$\sum_{i=1}^n x_i=3363$$ $$\sum_{i=1}^n (x_i-\bar{x})^2=5868$$ 那么,该组观测数据的联合概率密度函数为: $$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 对$L(\mu,\sigma^2)$取对数,得到对数似然函数: $$lnL(\mu,\sigma^2)=-5ln(\sigma)-\frac{n}{2}ln(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$ 对$lnL(\mu,\sigma^2)$求导,得到: $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$ $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$ 令导数为0,解得: $$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}=336.3$$ $$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n}=586.8$$ 因此,参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=336.3$和$\hat{\sigma}^2=586.8$。