一、朴素贝叶斯基础
朴素贝叶斯是一种基于贝叶斯定理的算法,用于分类和预测。贝叶斯定理是一种计算条件概率的方法,即已知某些条件下,某事件发生的概率,求某条件下另一事件发生的概率。朴素贝叶斯假设条件之间相互独立,从而简化了计算。在分类问题中,朴素贝叶斯计算一个样本属于某个类别的概率,选择概率最大的类别作为该样本所属的类别。
二、朴素贝叶斯算法流程
朴素贝叶斯算法分为训练和预测两个阶段。
训练阶段:
def train(train_data): """ 训练函数 :param train_data: 训练集 """ class_list = [i[-1] for i in train_data] # 类别列表 class_count = Counter(class_list) # 统计每个类别的数量 prior_prob_dict = {} # 存储每个类别的先验概率 for key in class_count: # 计算每个类别的先验概率 prior_prob_dict[key] = class_count[key] / len(class_list) word_dict_list = [] # 存储每个类别中每个单词出现的次数 for key in class_count: temp_data = [i for i in train_data if i[-1] == key] # 提取当前类别的数据 word_dict = Counter([j for i in temp_data for j in i[:-1]]) # 统计当前类别中每个单词的数量 word_dict_list.append({key: word_dict}) return prior_prob_dict, word_dict_list
预测阶段:
def classify(test_data, prior_prob_dict, word_dict_list): """ 分类函数 :param test_data: 测试数据 :param prior_prob_dict: 每个类别的先验概率 :param word_dict_list: 每个类别中每个单词出现的次数 """ score_dict = {} # 存储每个类别的得分 for key in prior_prob_dict: # 计算当前类别的条件概率 word_dict = word_dict_list[key][key] score = prior_prob_dict[key] for word, count in test_data.items(): score *= (word_dict[word] + 1) / (sum(word_dict.values()) + len(test_data)) score_dict[key] = score return max(score_dict, key=score_dict.get)
三、朴素贝叶斯的优缺点
优点:
1、朴素贝叶斯模型简单,算法快速。
2、朴素贝叶斯分类器对处理高维、数据量大的数据具有较好的效果。
3、对于缺失数据的情况,朴素贝叶斯算法可以有效处理。
缺点:
1、朴素贝叶斯算法假设特征之间相互独立,但实际应用中不一定成立。
2、如果某个特征在训练集中没有出现过,会导致条件概率为0的情况,需要进行平滑处理。
3、朴素贝叶斯算法适用于多分类问题,但对于二分类问题,其表现可能不如其他更为复杂的算法。
四、朴素贝叶斯的应用
朴素贝叶斯算法在文本分类、垃圾邮件过滤、情感分析等领域得到广泛应用。下面以文本分类为例,介绍朴素贝叶斯算法应用。
代码示例:
# 加载数据 data = [] with open('content.txt', 'r', encoding='utf-8') as f: for line in f: content, label = line.strip().split('\t') data.append((content, label)) # 划分训练集和测试集 train_data = data[:8000] test_data = data[8000:] # 训练模型 prior_prob_dict, word_dict_list = train(train_data) # 测试模型 correct_num = 0 for content, label in test_data: test_dict = Counter(content.split()) predict_label = classify(test_dict, prior_prob_dict, word_dict_list) if predict_label == label: correct_num += 1 print('Accuracy:', correct_num / len(test_data))
五、小结
本文从朴素贝叶斯基础入手,对其算法流程、优缺点进行了详细阐述,并以文本分类为例进行了代码实现。朴素贝叶斯算法简单、快速,适用于多分类、高维数据的问题。但其假设特征相互独立的前提不一定成立,需要具体问题具体分析。朴素贝叶斯算法在文本分类、垃圾邮件过滤、情感分析等领域应用广泛。