本文目录一览：
- 1、121 11 个案例掌握 Python 数据可视化--星际探索
- 2、Python 数据处理（三十九）—— groupby（过滤）
- 3、如何用Python进行大数据挖掘和分析？
- 4、python怎么做数据分析
- 5、python(pandas模块)？
- 6、python数据分析的一般步骤是什么
121 11 个案例掌握 Python 数据可视化--星际探索
星空是无数人梦寐以求想了解的一个领域，远古的人们通过肉眼观察星空，并制定了太阴历，指导农业发展。随着现代科技发展，有了更先进的设备进行星空的探索。本实验获取了美国国家航空航天局（NASA）官网发布的地外行星数据，研究及可视化了地外行星各参数、寻找到了一颗类地行星并研究了天体参数的相关关系。
输入并执行魔法命令 %matplotlib inline， 设置全局字号，去除图例边框，去除右侧和顶部坐标轴。
本数据集来自 NASA，行星发现是 NASA 的重要工作之一，本数据集搜集了 NASA 官网发布的 4296 颗行星的数据，本数据集字段包括：
导入数据并查看前 5 行。
截至 2020 年 10 月 22 日 全球共发现 4296 颗行星，按年聚合并绘制年度行星发现数，并在左上角绘制 NASA 的官方 LOGO 。
从运行结果可以看出，2005 年以前全球行星发现数是非常少的，经计算总计 173 颗，2014 和 2016 是行星发现成果最多的年份，2016 年度发现行星 1505 颗。
对不同机构/项目/计划进行聚合并降序排列，绘制发现行星数目的前 20 。
2009 年至 2013 年，开普勒太空望远镜成为有史以来最成功的系外行星发现者。在一片天空中至少找到了 1030 颗系外行星以及超过 4600 颗疑似行星。当机械故障剥夺了该探测器对于恒星的精确定位功能后，地球上的工程师们于 2014 年对其进行了彻底改造，并以 K2 计划命名，后者将在更短的时间内搜寻宇宙的另一片区域。
对发现行星的方式进行聚合并降序排列，绘制各种方法发现行星的比例，由于排名靠后的几种方式发现行星数较少，因此不显示其标签。
行星在宇宙中并不会发光，因此无法直接观察，行星发现的方式多为间接方式。从输出结果可以看出，发现行星主要有以下 3 种方式，其原理如下：
针对不同的行星质量，绘制比其质量大（或者小）的行星比例，由于行星质量量纲分布跨度较大，因此采用对数坐标。
从输出结果可以看出，在已发现的行星中，96.25% 行星的质量大于地球。（图中横坐标小于 e 的红色面积非常小）
通过 sns.distplot 接口绘制全部行星的质量分布图。
从输出结果可以看出，所有行星质量分布呈双峰分布，第一个峰在 1.8 左右（此处用了对数单位，表示大约 6 个地球质量），第二个峰在 6.2 左右（大概 493 个地球质量）。
针对不同发现方式发现的行星，绘制各行星的公转周期和质量的关系。
从输出结果可以看出：径向速度（Radial Velocity）方法发现的行星在公转周期和质量上分布更宽，而凌日（Transit）似乎只能发现公转周期相对较短的行星，这是因为两种方法的原理差异造成的。对于公转周期很长的行星，其运行到恒星和观察者之间的时间也较长，因此凌日发现此类行星会相对较少。而径向速度与其说是在发现行星，不如说是在观察恒星，由于恒星自身发光，因此其观察机会更多，发现各类行星的可能性更大。
针对不同发现方式发现的行星，绘制各行星的距离和质量的关系。
从输出结果可以看出，凌日和径向速度对距离较为敏感，远距离的行星大多是通过凌日发现的，而近距离的行星大多数通过径向速度发现的。原因是：近距离的行星其引力对恒星造成的摆动更为明显，因此更容易观察；当距离较远时，引力作用变弱，摆动效应减弱，因此很难借助此方法观察到行星。同时，可以观察到当行星质量更大时，其距离分布相对较宽，这是因为虽然相对恒星的距离变长了，但是由于行星质量的增加，相对引力也同步增加，恒星摆动效应会变得明显。
将所有行星的质量和半径对数化处理，绘制其分布并拟合其分布。
由于：
因此，从原理上质量对数与半径对数应该是线性关系，且斜率为定值 3 ，截距的大小与密度相关。
从输出结果可以看出：行星质量和行星半径在对数变换下，具有较好的线性关系。输出 fix_xy 数值可知，其关系可以拟合出如下公式：
拟合出曲线对应的行星平均密度为：
同样的方式绘制恒星质量与半径的关系。
从输出结果可以看出，恒星与行星的规律不同，其质量与半径在对数下呈二次曲线关系，其关系符合以下公式：
同样的方式研究恒星表面重力加速度与半径的关系。
从输出结果可以看出，恒星表面对数重力加速度与其对数半径呈现较好的线性关系：
以上我们分别探索了各变量的分布和部分变量的相关关系，当数据较多时，可以通过 pd.plotting.scatter_matrix 接口，直接绘制各变量的分布和任意两个变量的散点图分布，对于数据的初步探索，该接口可以让我们迅速对数据全貌有较为清晰的认识。
通过行星的半径和质量，恒星的半径和质量，以及行星的公转周期等指标与地球的相似性，寻找诸多行星中最类似地球的行星。
从输出结果可以看出，在 0.6 附近的位置出现了一个最大的圆圈，那就是我们找到的类地行星 Kepler - 452 b ，让我们了解一下这颗行星：
数据显示，Kepler - 452 b 行星公转周期为 384.84 天，半径为 1.63 地球半径，质量为 3.29 地球质量；它的恒星为 Kepler - 452 半径为太阳的 1.11 倍，质量为 1.04 倍，恒星方面数据与太阳相似度极高。
以下内容来自百度百科。 开普勒452b（Kepler 452b） ，是美国国家航空航天局（NASA）发现的外行星， 直径是地球的 1.6 倍，地球相似指数( ESI )为 0.83，距离地球1400光年，位于为天鹅座。
2015 年 7 月 24 日 0：00，美国国家航空航天局 NASA 举办媒体电话会议宣称，他们在天鹅座发现了一颗与地球相似指数达到 0.98 的类地行星开普勒 - 452 b。这个类地行星距离地球 1400 光年，绕着一颗与太阳非常相似的恒星运行。开普勒 452 b 到恒星的距离，跟地球到太阳的距离相同。NASA 称，由于缺乏关键数据，现在不能说 Kepler - 452 b 究竟是不是“另外一个地球”，只能说它是“迄今最接近另外一个地球”的系外行星。
在银河系经纬度坐标下绘制所有行星，并标记地球和 Kepler - 452 b 行星的位置。
类地行星，是人类寄希望移民的第二故乡，但即使最近的 Kepler-452 b ，也与地球相聚 1400 光年。
以下通过行星的公转周期和质量两个特征将所有行星聚为两类，即通过训练获得两个簇心。
定义函数-计算距离
聚类距离采用欧式距离：
定义函数-训练簇心
训练簇心的原理是：根据上一次的簇心计算所有点与所有簇心的距离，任一点的分类以其距离最近的簇心确定。依此原理计算出所有点的分类后，对每个分类计算新的簇心。
定义函数预测分类
根据训练得到的簇心，预测输入新的数据特征的分类。
开始训练
随机生成一个簇心，并训练 15 次。
绘制聚类结果
以最后一次训练得到的簇心为基础，进行行星的分类，并以等高面的形式绘制各类的边界。
从运行结果可以看出，所有行星被分成了两类。并通过上三角和下三角标注了每个类别的簇心位置。
聚类前
以下输出了聚类前原始数据绘制的图像。
Python 数据处理（三十九）—— groupby（过滤）
filter 方法可以返回原始对象的子集.
例如，我们想提取分组内的和大于 3 的所有分组的元素
filter 的参数必须是一个函数，函数参数是每个分组，并且返回 True 或 False
例如，提取元素个数大于 2 的分组
另外，我们也可以过滤掉不满足条件的组，而是返回一个类似索引对象。在这个对象中，没有通过的分组的元素被 NaN 填充
对于具有多列的 DataFrames ，过滤器应明确指定一列作为过滤条件
在进行聚合或转换时，你可能想对每个分组调用一个实例方法，例如
但是，如果需要传递额外的参数时，它会变得很冗长。我们可以直接使用分派到组对象上的方法
实际上这生成了一个函数包装器，在调用时，它接受所有传递的参数，并在每个分组上进行调用。
然后，这个结果可以和 agg 和 transform 结合在一起使用
在上面的例子中，我们按照年份分组，然后对每个分组中使用 fillna 补缺失值
nlargest 和 nsmallest 可以在 Series 类型的 groupby 上使用
对分组数据的某些操作可能并不适合聚合或转换。或者说，你可能只是想让 GroupBy 来推断如何合并结果
我们可以使用 apply 函数，例如
改变返回结果的维度
在 Series 上使用 apply 类似
对于之前的示例数据
假设，我们想按 A 分组并计算组内的标准差，但是 B 列的数据我们并不关心。
如果我们的函数不能应用于某些列，则会隐式的删除这些列，所以
直接计算标准差并不会报错
可以使用分类变量进行分组，分组的顺序会按照分类变量的顺序
可以使用 pd.Grouper 控制分组，对于如下数据
可以按照一定的频率对特定列进行分组，就像重抽样一样
可以分别对列或索引进行分组
类似于 Series 和 DataFrame ，可以使用 head 和 tail 获取分组前后几行
在 Series 或 DataFrame 中可以使用 nth() 来获取第 n 个元素，也可以用于获取每个分组的某一行
如果你要选择非空项，可以使用关键字参数 dropna ，如果是 DataFrame ，需要指定为 any 或 all (类似于 DataFrame.dropna(how='any|all') )
与其他方法一样，使用 as_index=False 分组名将不会作为索引
你也可以传入一个整数列表，一次性选取多行
使用 cumcount 方法，可以查看每行在分组中出现的顺序
可以使用 ngroup() 查看分组的顺序，该顺序与 cumcount 的顺序相反。
注意 ：该顺序与迭代时的分组顺序一样，并不是第一次观测到的顺序
如何用Python进行大数据挖掘和分析？
如何用Python进行大数据挖掘和分析？快速入门路径图
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。
什么是 大数据 ？
大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。
大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
数据分析流程
一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Python爬虫
外部数据的获取方式主要有以下两种。
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显著性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
总结
其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!
python怎么做数据分析
链接：
提取码：7234
炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。
课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。
课程目录：
Python基础
Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符
了解Python流程控制——条件、循环语句与其他语句
常用函数——函数的定义与使用方法、主要内置函数的介绍
.....
python(pandas模块)？
1.什么是pandas? numpy模块和pandas模块都是用于处理数据的模块。 numpy主要用于针对数组进行统计计算,处理数字数据比较方便。 pandas除了可以处理数字数据,还可...
python数据分析的一般步骤是什么
下面是用python进行数据分析的一般步骤：
一：数据抽取
从外部源数据中获取数据
保存为各种格式的文件、数据库等
使用Scrapy爬虫等技术
二：数据加载
从数据库、文件中提取数据，变成DataFrame对象
pandas库的文件读取方法
三：数据处理
数据准备：
对DataFrame对象（多个）进行组装、合并等操作
pandas库的操作
数据转化：
类型转化、分类（面元等）、异常值检测、过滤等
pandas库的操作
数据聚合：
分组（分类）、函数处理、合并成新的对象
pandas库的操作
四：数据可视化
将pandas的数据结构转化为图表的形式
matplotlib库
五：预测模型的创建和评估
数据挖掘的各种算法：
关联规则挖掘、回归分析、聚类、分类、时序挖掘、序列模式挖掘等
六：部署（得出结果）
从模型和评估中获得知识
知识的表示形式：规则、决策树、知识基、网络权值
更多技术请关注python视频教程。
