您的位置:

python的nltk库(python nltk中文处理)

本文目录一览:

【Python基础】python数据分析需要哪些库?

1.Numpy库

是Python开源的数值计算扩展工具,提供了Python对多维数组的支持,能够支持高级的维度数组与矩阵运算。此外,针对数组运算也提供了大量的数学函数库,Numpy是大部分Python科学计算的基础,具有很多功能。

2.Pandas库

是一个基于Numpy的数据分析包,为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型,提供了高效地操作大型数据集所需要的函数和方法,使用户能快速便捷地处理数据。

3.Matplotlib库

是一个用在Python中绘制数组的2D图形库,虽然它起源于模仿MATLAB图形命令,但它独立于MATLAB,可以通过Pythonic和面向对象的方式使用,是Python中最出色的绘图库。主要用纯Python语言编写的,它大量使用Numpy和其他扩展代码,即使对大型数组也能提供良好的性能。

4.Seaborn库

是Python中基于Matplotlib的数据可视化工具,提供了很多高层封装的函数,帮助数据分析人员快速绘制美观的数据图形,从而避免了许多额外的参数配置问题。

5.NLTK库

被称为使用Python进行教学和计算语言学工作的最佳工具,以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台,用于构建使用人类语言数据的Python程序,它为超过50个语料库和词汇资源提供了易于使用的接口,还提供了一套文本处理库,用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。

python中的nltk是什么

nltk(natural language toolkit)是python的自然语言处理工具包。自然语言是指人们日常交流使用的语言,如英语,印地语,葡萄牙语等。“自然语言处理”(Natural Language Processing 简称NLP)包含所有用计算机对自然语言进行的操作,从最简单的通过计数词出现的频率来比较不同的写作风格,到最复杂的完全“理解”人所说的话,至少要能达到对人的话语作出有效反应的程度。

如何查看python2.7的nltk

1.安装Python(我安装的是Python2.7,目录C:\Python27)

可以到CSDN、OSChina、Sina Share等网站下载

也可以到Python官网下载:

2.安装NumPy(可选)

到这里下载:

注意Py版本

下载之后执行exe文件(程序会自动搜索python27目录)

3.安装NLTK(我下载的是nltk-2.0.3)

到这里下载:

把nltk-2.0.3解压到C:\Python27目录

打开cmd,进到C:\Python27\nltk-2.0.3目录(输入:cd C:\Python27\nltk-2.0.3)

输入命令:python setup.py install

4.安装PyYAML:

到这里下载:

注意Py版本

下载之后执行exe文件(程序会自动搜索python27目录)

5.打开IDLE,输入import nltk,没有错误的话,就说明安装成功了。

到这里,NLP所需的基本python模块都已经安装好了,然后要安装NLTK_DATA了

下载NLTK_DATA有好几种方法,这里我只介绍一种

6.继续第五步,已经import nltk了,然后输入nltk.download(),这样就可以打开一个NLTK Downloader(NLTK下载器)

7.注意下载器下边的Download Directory,我设置的是C:\nltk_data

8.在计算机-属性-高级系统设置-高级-环境变量-系统变量-新建:上边:NLTK_DATA,下边:C:\nltk_data

9.选择你要下载的包(语料库、模块),可以一次性下载(我在下载过程中总是出现out of date),也可以逐个下载(我就这么做的。。。)

10.成功安装包之后怎么测试呢?输入下边的语句就可以。

from nltk.corpus import brown

brown.words()

['The', 'Fulton', 'County', 'Grand', 'Jury', 'said', ...]

如何用 Python 中的 NLTK 对中文进行分析和处理

我感觉用nltk 处理中文是完全可用的。其重点在于中文分词和文本表达的形式。

中文和英文主要的不同之处是中文需要分词。因为nltk 的处理粒度一般是词,所以必须要先对文本进行分词然后再用nltk 来处理(不需要用nltk 来做分词,直接用分词包就可以了。严重推荐结巴分词,非常好用)。

中文分词之后,文本就是一个由每个词组成的长数组:[word1, word2, word3…… wordn]。之后就可以使用nltk 里面的各种方法来处理这个文本了。比如用FreqDist 统计文本词频,用bigrams 把文本变成双词组的形式:[(word1, word2), (word2, word3), (word3, word4)……(wordn-1, wordn)]。

python数据分析需要哪些库?

1.Numpy库

是Python开源的数值计算扩展工具,提供了Python对多维数组的支持,能够支持高级的维度数组与矩阵运算。此外,针对数组运算也提供了大量的数学函数库,Numpy是大部分Python科学计算的基础,具有很多功能。

2.Pandas库

是一个基于Numpy的数据分析包,为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型,提供了高效地操作大型数据集所需要的函数和方法,使用户能快速便捷地处理数据。

3.Matplotlib库

是一个用在Python中绘制数组的2D图形库,虽然它起源于模仿MATLAB图形命令,但它独立于MATLAB,可以通过Pythonic和面向对象的方式使用,是Python中Z出色的绘图库。主要用纯Python语言编写的,它大量使用Numpy和其他扩展代码,即使对大型数组也能提供良好的性能。

4.Seaborn库

是Python中基于Matplotlib的数据可视化工具,提供了很多高层封装的函数,帮助数据分析人员快速绘制美观的数据图形,从而避免了许多额外的参数配置问题。

5.NLTK库

被称为使用Python进行教学和计算语言学工作的Z佳工具,以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台,用于构建使用人类语言数据的Python程序,它为超过50个语料库和词汇资源提供了易于使用的接口,还提供了一套文本处理库,用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。