逻辑回归公式详解

一、什么是逻辑回归

逻辑回归是一种二分类模型，用于预测某一事件发生或不发生的概率。它基于给定的输入变量对目标变量的概率进行预测，并可作为分类器用于新数据的分类。

二、逻辑回归的公式

逻辑回归公式表达了目标变量取值为1的概率。它的数学形式如下：

P(y=1|x) = 1 / (1 + exp(-(wT*x+b)))

其中，x是输入特征向量，w和b是模型参数。wT表示w的转置，exp表示自然指数函数。

三、逻辑回归的模型训练

逻辑回归的模型训练包括两个步骤：参数初始化和梯度下降迭代。

1. 参数初始化

随机初始化w和b的值，使其能够收敛到最优解。

import numpy as np
w = np.random.rand(n_features, 1)
b = np.random.rand(1)

2. 梯度下降迭代

使用梯度下降算法迭代更新参数w和b的值，使其能够最小化损失函数。

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def gradient_descent(X, y, w, b, alpha, num_iterations):
    m = X.shape[0]
    for i in range(num_iterations):
        z = np.dot(X, w) + b
        a = sigmoid(z)
        dw = np.dot(X.T, (a - y)) / m
        db = np.sum(a - y) / m
        w -= alpha * dw
        b -= alpha * db
    return w, b

四、逻辑回归的预测

使用训练好的参数w和b，根据逻辑回归公式预测目标变量y的取值。当预测结果大于0.5时，将y的取值设为1，否则设为0。

def predict(X, w, b):
    z = np.dot(X, w) + b
    a = sigmoid(z)
    y_hat = (a >= 0.5).astype(int)
    return y_hat

五、逻辑回归的优缺点

逻辑回归的优点：

1. 训练和预测速度快

2. 模型参数易于解释和理解

3. 可以处理非线性特征

逻辑回归的缺点：

1. 只能处理二分类问题

2. 对数据的线性可分性有很强的假设

3. 对缺失值和噪声数据敏感

六、总结

本文对逻辑回归模型的公式、模型训练和预测以及优缺点进行了详细阐述。逻辑回归模型是一种简单而有用的二分类模型，常用于数据科学领域的预测和分类。