详解 likelihood ratio

一、什么是likelihood ratio

likelihood ratio，即似然比，是统计学上的一种概念，通常被用于比较两种相互竞争的假设的相对证据强度。

它可以用来衡量两个假设在现实数据情况下的对数比值。其表达式为：

    LR = P(D|H1) / P(D|H2)

其中，P(D|H1)代表在假设H1下，数据集D出现的概率；P(D|H2)代表在假设H2下，数据集D出现的概率。

二、likelihood ratio在假设检验中的应用

在假设检验中，似然比替代了传统假设检验中的显著性检验，用来评估观测数据对不同假设的证据程度。

以二项式分布为例，假设有两个假设：

H1：p = 0.4

H2：p = 0.6

其中，p表示某一事件发生的概率。考虑到我们的假设是要基于已经观测到的数据集来判断的，于是我们需要先观测到一些数据。

在已知数据集D = {22, 26, 28, 30, 32}的情况下，我们可以计算出在假设H1和假设H2下数据集D的概率，并求出likelihood ratio：

    P(D|H1) = 0.0332，P(D|H2) = 0.1795
    LR = 0.185

根据likelihood ratio我们可以得到一个结论：数据集D更有可能来自假设H2（p=0.6），因为likelihood ratio大于1。

三、likelihood ratio在贝叶斯推理中的应用

在贝叶斯推理中，likelihood ratio作为Bayes Factor的一部分被用来计算后验概率，即：

    posterior odds = Bayes Factor * prior odds

其中，prior odds是先验概率，Bayes Factor是likelihood ratio的一个转化，其表达式为：

    Bayes Factor = P(D|H1) / P(D|H2) / (P(H1) / P(H2))

根据贝叶斯定理可以进一步化简得到：

    Bayes Factor = P(H1|D) / P(H2|D)

其中，P(H1|D)和P(H2|D)分别代表在数据集D下H1和H2的后验概率。

可以看出，likelihood ratio在贝叶斯推理中起到了至关重要的作用，它不仅可以用来评价观测数据对不同假设的支持程度，还可以帮助我们计算后验概率。

四、likelihood ratio的代码实现

以下代码实现了likelihood ratio的计算以及对于假设H1和假设H2的判断。

    def likelihood_ratio(D, H1, H2):
        P_D_H1 = stats.binom(H1['n'], H1['p']).pmf(D).prod()
        P_D_H2 = stats.binom(H2['n'], H2['p']).pmf(D).prod()
        return P_D_H1 / P_D_H2
    
    D = [22, 26, 28, 30, 32]
    H1 = {'n': 50, 'p': 0.4}
    H2 = {'n': 50, 'p': 0.6}
    
    lr = likelihood_ratio(D, H1, H2)
    
    if lr > 1:
        print('数据集D更有可能来自假设H2（p=0.6）')
    else:
        print('数据集D更有可能来自假设H1（p=0.4）')

五、总结

likelihood ratio作为一种重要的统计量，在假设检验和贝叶斯推理中都有广泛的应用。通过对likelihood ratio的详细阐述，我们可以更好地理解似然比的内涵，并能够根据likelihood ratio来判断观测数据对于不同假设的支持程度。