一、查准率和查全率的定义
查准率和查全率是在信息检索领域中广泛使用的两个指标。简单来说，查准率是指检索结果中相关的文档数占检索结果文档数的比例，衡量了检索结果的准确性；而查全率是指检索结果中相关的文档数占文档库中相关文档数的比例，衡量了检索的完整性。
// 查准率公式 precision = TP / (TP + FP) // 查全率公式 recall = TP / (TP + FN)
二、混淆矩阵（Confusion Matrix）
混淆矩阵用于展示分类算法中True Positive（TP）、False Positive（FP）、False Negative（FN）、True Negative（TN）四种分类结果的数量。其中，TP表示正确的正例分类数量，FP表示错误的正例分类数量，FN表示错误的反例分类数量，TN表示正确的反例分类数量。
// 混淆矩阵展示 |---------------|--------------| | 真实值/预测值 | 正例（1） | 反例（0） | |---------------|--------------| | 正例（1） | TP | FP | |---------------|-------------| | 反例（0） | FN | TN | |---------------|-------------|
三、查准率和查全率的计算方法
1. 查准率的计算方法
查准率的计算方法为：TP / (TP + FP)，即模型预测的正例中，真实正例的占比。
在机器学习领域，通常使用Precision-Recall曲线来展示不同模型、不同超参组合下的查准率和查全率。通过调整模型及其超参数，使得Precision-Recall曲线上的点尽可能到达左上角，表示更高的查准率和查全率。
// Python代码示例 from sklearn.metrics import precision_score y_true = [1, 0, 1, 1, 0] y_pred = [1, 1, 1, 0, 0] precision = precision_score(y_true, y_pred) print(precision) # 0.75
2. 查全率的计算方法
查全率的计算方法为：TP / (TP + FN)，即所有真实正例被正确预测为正例的占比。
// Python代码示例 from sklearn.metrics import recall_score y_true = [1, 0, 1, 1, 0] y_pred = [1, 1, 1, 0, 0] recall = recall_score(y_true, y_pred) print(recall) # 0.6
四、F1得分
F1得分是查准率和查全率加权平均的一种综合指标，其中F1得分=2 * Precision * Recall / (Precision + Recall)。
F1得分越高，说明模型的分类性能越好。
// Python代码示例 from sklearn.metrics import f1_score y_true = [1, 0, 1, 1, 0] y_pred = [1, 1, 1, 0, 0] f1 = f1_score(y_true, y_pred) print(f1) # 0.6666666666666666
五、最佳阈值的确定
在Precision-Recall曲线中，还可以通过将不同的分类阈值应用于模型输出的概率，来确定最优的阈值。
一般而言，随着阈值的增加，查准率会逐渐变高，查全率会逐渐变低，因此需要在二者之间进行权衡，并选择最佳的阈值。
// Python代码示例 from sklearn.metrics import precision_recall_curve y_true = [1, 0, 1, 1, 0] y_prob = [0.7, 0.6, 0.8, 0.3, 0.4] precision, recall, threshold = precision_recall_curve(y_true, y_prob)
六、小结
查准率和查全率是评估分类模型性能的重要指标之一，通过混淆矩阵来展示模型对正例和反例的分类结果，进而计算出查准率和查全率。
在一定条件下，使用F1得分和最佳阈值可以帮助我们发现最优模型即查准率和查全率都达到较高的水平。
