本文目录一览：
- 1、为什么从事大数据行业，一定要学习Python?
- 2、python中什么是测试数据和训练数据
- 3、利用Python取数据和划分训练集
- 4、python为什么适合大数据
- 5、python做BP神经网络，进行数据预测，训练的输入和输出值都存在负数，为什么预测值永远为正数？
为什么从事大数据行业，一定要学习Python?
Python这只小虫子最近随着大数据的兴起可以说是十分的火了。有越来越多的人不敢小觑Python这门语言了。也有更多的人在学习Python。Python为何会有如此大的魅力？为什么从事大数据行业必学Python？这还要从Python这门语言的优点开始讲起。
虽然Python这种语言不如Java、C++这些语言普及，却早在1991年就已经诞生了。它的语法简单清晰，以实用为主，是门十分朴素的语言。同时，它还是编程语言中的“和事佬”，被人戏称为胶水语言。因为它能够将其他语言制作的各种模块很轻松的联结在一起。
如果将Python语言拟人化，它绝对属于“老好人”的那一类，让人容易亲近，人们与它交流并不需要花太多心思。但它却拥有强大的功能。很多语言不能完成的任务，Python都能轻易完成。它几乎可以被用来做任何事情，应用于多个系统和平台。无论是系统操作还是Web开发，抑或是服务器和管理工具、部署、科学建模等，它都能轻松掌握。因此，从事海量数据处理的大数据行业，自然少不了这个“万能工具”。
除此之外，Python这只小虫子还受到了大数据老大哥Google的青睐。Google的很多开发都用到了Python。这使得人们能够找到Python的很多指南和教程。让你学起来更方便，你在使用中可能遇到的很多问题大多数都已经被Google给解决了，并把解决方法发布到了网络平台。
Python还拥有一系列非常优秀的库，这省了你编程中的很多时间。尤其是在人工智能和机器学习领域，这些库的价值体现得更为明显。
不管怎么说，从事大数据工作，少不得要在网络上爬取数据，不用Python爬虫，你还打算用什么呢？
因此，在当前的大数据领域，从事大数据行业必学Python。
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
————————————————
版权声明：本文为CSDN博主「duozhishidai」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：
python中什么是测试数据和训练数据
当数据量特别大的时候，有几千几万条，为了验证模型的好坏，取出一部分用于训练，另一部分用作测试。当模型训练好的时候，其必定是符合训练数据的分布，为了验证模型的泛化能力，就利用没有参与训练的测试集，放入模型计算出结果，和真实值比较，就可以看出回归模型预测得准不准了
从代码来看你这个做的是一个简单的线性回归模型，数据很简单就是研发成本对应产品质量，利用线性回归拟合一条直线，由于你的数据特别少只有8个点，所以完全没有必要区分训练数据和测试数据，尤其你设置测试集比例为0.1，其实就只有一条，用处不大，所以没有区分的必要
希望我的回答能帮助到你，祝你学习顺利
利用Python取数据和划分训练集
def train_test_split(*arrays, **options):
"""Split arrays or matrices into random train and test subsets
Quick utility that wraps calls to ``check_arrays`` and
``next(iter(ShuffleSplit(n_samples)))`` and application to input
data into a single call for splitting (and optionally subsampling)
data in a oneliner.
Parameters
----------
*arrays : sequence of arrays or scipy.sparse matrices with same shape[0]
Python lists or tuples occurring in arrays are converted to 1D numpy
arrays.
这是源码里面的一段话，参数*arrays里就是所谓的train_data,train_target，说的很清楚，类型为数组或矩阵。如果你的数据在文本中，读入list中或使用numpy模块存储。
n_arrays = len(arrays)
if n_arrays == 0:
raise ValueError("At least one array required as input")
也就是说按照需要*arrays中只传入一个数组或矩阵，即这种形式：X_train, X_test= cross_validation.train_test_split(train_data, test_size=0.4, random_state=0)
python为什么适合大数据
百万级别数据是小数据，python处理起来不成问题，但python处理数据还是有些问题的
Python处理大数据的劣势：
1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict），多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦
2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy（顺便给pypy做做广告，土豪可以捐赠一下PyPy - Call for donations）
3、绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多
Python处理数据的优势（不是处理大数据）：
1、异常快捷的开发速度，代码量巨少
2、丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便
3、内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）
4、公司中，很大量的数据处理工作工作是不需要面对非常大的数据的
5、巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi。。。。）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python
6、编码问题处理起来太太太方便了
综上所述：
1、python可以处理大数据
2、python处理大数据不一定是最优的选择
3. python和其他语言（公司主推的方式）并行使用是非常不错的选择
4. 因为开发速度，你如果经常处理数据，而且喜欢linux终端，而且经常处理不大的数据（100m一下），最好还是学一下python
如果只是学习Python的话，找工作可能会比较困难，建议还是系统学习一下大数据的相关课程，现在很多专业机构都可开设，你可以点击头像了解一下
python做BP神经网络，进行数据预测，训练的输入和输出值都存在负数，为什么预测值永远为正数？
因为sigmoid就是预测0到1之间的连续值。通常当二分类预测使用，你的问题是否复合二分类如果可以就把类别换成0和1就可以了，如果是做回归那就不行了，要换其他损失函数
