Python统计词频

一、基本概念

Python是一种广泛使用的高级编程语言，其自带的counter模块可以方便地进行词频统计。在自然语言处理和机器学习领域中，词频统计是一个基本的概念。它指的是对一段文本中各个单词在文本中出现的频率进行计数，以此统计不同单词在该段文本中的重要性。

二、Python计数器模块

Python计数器模块collections.Counter()可以快速地将一个可迭代对象转换成一个字典，其中每个元素是一个键，其出现的次数是对应的值，从而实现词频统计的目的。

from collections import Counter

text = "apple banana apple cherry cherry"
words = text.split()

word_count = Counter(words)
print(word_count)

上述代码将字符串text按空格分割成一个列表words，然后用Counter()函数统计每个单词出现的次数。

输出结果为：

Counter({'apple': 2, 'cherry': 2, 'banana': 1})

三、词频统计应用

在实际应用中，词频统计广泛运用于文本挖掘、信息检索、社交媒体分析等领域。例如，我们可以对一篇文章进行词频统计，以此了解文章的主题、关键词等信息。

下面是一个示例程序，用于从文件中读取文章并进行词频统计：

from collections import Counter

with open("test.txt", "r", encoding="utf-8") as f:
    text = f.read()
    
words = text.split()

word_count = Counter(words)

for word, count in word_count.most_common(10):
    print(word, ":", count)

上述代码读取名为test.txt的文件，使用Counter()函数统计其中单词的出现次数，并输出出现频率最高的前10个单词。

输出结果为：

the : 10
of : 4
and : 4
to : 4
in : 3
is : 3
that : 3
as : 3
on : 2
with : 2

四、应用扩展

除了简单地对文本进行词频统计外，我们还可以结合其他技术进行应用扩展。例如，可以使用正则表达式来筛选关键词，使用词云工具将词频统计结果可视化，并进行人工分析等。

下面是一个示例程序，使用jieba分词库对中文文本进行分词，并使用wordcloud库将分词结果可视化：

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from collections import Counter

with open("test.txt", "r", encoding="utf-8") as f:
    text = f.read()
    
words = jieba.lcut(text)

word_count = Counter(words)

font_path = "SimHei.ttf"
wc = WordCloud(font_path=font_path, background_color="white", max_words=2000, width=1920, height=1080)

wc.generate_from_frequencies(word_count)

plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.show()

上述代码使用jieba分词库对中文文本进行分词，再使用wordcloud库将分词结果用词云的形式展示出来。

五、总结

Python的counter模块提供了方便的词频统计功能，可以应用于自然语言处理、信息检索等领域。除了基本的词频统计外，我们还可以结合其他技术进行应用扩展，如正则表达式、词云可视化等。