本文目录一览：
- 1、python任务调度好学吗
- 2、如何用python做一个设备运维软件
- 3、如何用python简单的设计开发异步任务调度队列
- 4、简单强大的Python库！Schedule—实用的周期任务调度工具
- 5、python常用到哪些库？
python任务调度好学吗
python任务调度好学。Python由荷兰数学和计算机科学研究学会的GuidovanRossum于1990年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。
如何用python做一个设备运维软件
Python开发的jumpserver跳板机
jumpserver跳板机是一款由Python编写开源的跳板机(堡垒机)系统，实现了跳板机应有的功能。基于ssh协议来管理，客户端无需安装agent。
企业主要用于解决：可视化安全管理
特点：完全开源，GPL授权
Python编写，Django开发框架，容易再次开发
实现了跳板机基本功能：认证、授权、审计。集成了Ansible、批量命令等。功能强大。
通俗点就是起到监控谁在服务器上做了什么操作等。录像回放、命令搜索、实时监控、批量上传下载等。
第三：Python开发的Magedu分布式监控系统
以自动化运维视角为出发点，自动化功能、监控告警、性能调优，结合saltstack实现自动化配置管理等内容进行了全方位的深入剖析。
企业主要用于解决：自动化监控常用系统服务、应用、网络设备等。分布式可监控更多服务器，分区域监控再汇总。Zabbix监控结合Python自定义监控脚本。
监控系统需求讨论：
监控常用系统服务、应用、网络设备等？一台主机上可监控多个不同服务、不同服务的监控间隔可不同？同一个服务在不同主机上的监控间隔、报警阈值可不同？告警级别？数据可视化，如何做出简洁美观的用户界面？如何实现单机支持5000+机器监控需求？采取何种通信方式？主动、被动？
第四：Python开发的Magedu的CMDB
cmdb的开发需要包含三部分功能：采集硬件数据、API、页面管理。
企业主要用于解决：项目功能，采集硬件数据、Api、页面管理。统计资产，例如服务器存放位置，服务器上的账号等等。
执行服务的过程如下：服务器的客户端采集硬件数据，然后将硬件信息发送到API，API负责将获取到的数据保存到数据库中，后台管理程序负责对服务器信息的配置和展示。
第五：Python开发的任务调度系统
Python任务调度系统的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。
企业主要用于解决：通俗的理解，批量管理crontab定时任务。原理用户通过web页面设置任务，传输到任务调度系统服务器上的客户端，客户端收集数据反馈给服务器端，服务器端根据任务具体内容调度后端的集群服务器做定时任务。
一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。想到这，就在想是不是可以使用此模块来实现一个简单的作业调度系统。
第六：Python运维流程系统
使用python语言编写的调度和监控工作流的平台内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。
企业主要用于解决：通俗点说就是规范运维的操作，加入审批，一步一步操作的概念。
是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。
这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres和S3交互的能力，并且提供了钩子使得系统拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个基于Web的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
来个小总结
如何用python简单的设计开发异步任务调度队列
首先，客户端可以直接扔任务到一个web services的接口上 –》 web api接收到任务后，会根据客户端的ip和时间戳做task_id,返回给客户，紧接着在redis里面标记这任务的状态。 格式为 func,args,kwargs,timeout=xx,queue_level=xx,interval_time=xx
主服务端:
一个线程，会不停的扫描那个redis hash表，取出任务的interval_time后，进行取模，如果匹配成功，就会塞到 redis sorted set有续集和里面。
主线程，会不停的看看sorted set里面，有没有比自己实现小的任务，有的话，执行并删除。 这里的执行是用多进程，为毛用多进程，因为线程很多时候是不好控制强制干掉的。 每个任务都会用multiprocessing的方式去执行，去调用的时候，会多传进一个task_id，用来把相关的进度推送到redis里面。 另外，fork进程后，我会得到一个pid，我会把pid和timeout的信息，存放到kill_hash里面。 然后会不间断的查看，在指定的timeout内，这pid还在不在，如果还是存在，没有退出的话，说明他的任务不太正常，我们就可以在main()，里面干掉这些任务。
所谓的优先级就是个 High + middle +Low 的三合一链条而已，我每次都会坚持从高到低取任务，如果你的High级别的任务不断的话，那么我会一直干不了低级别的任务了。 代码的体现是在redis sorted set这边，设立三个有序集合，我的worker队列会从high开始做……
那么如果想干掉一个任务是如何操作的，首先我需要在 kill_hash 里面标记任务应该赶紧干掉，在就是在task_hash里面把那个task_id干掉，好让他不会被持续的加入待执行的队列里面。
简单强大的Python库！Schedule—实用的周期任务调度工具
如果你想在Linux服务器上周期性地执行某个 Python 脚本，最出名的选择应该是 Crontab 脚本，但是 Crontab 具有以下缺点：
1.不方便执行 秒级的任务 。
2.当需要执行的定时任务有上百个的时候，Crontab的 管理就会特别不方便 。
另外一个选择是 Celery，但是 Celery 的配置比较麻烦，如果你只是需要一个轻量级的调度工具，Celery 不会是一个好选择。
在你想要使用一个轻量级的任务调度工具，而且希望它尽量简单、容易使用、不需要外部依赖，最好能够容纳 Crontab 的所有基本功能，那么 Schedule 模块是你的不二之选。
使用它来调度任务可能只需要几行代码，感受一下：
上面的代码表示每10分钟执行一次 job 函数，非常简单方便。你只需要引入 schedule 模块，通过调用 scedule.every(时间数).时间类型.do(job) 发布周期任务。
发布后的周期任务需要用 run_pending 函数来检测是否执行，因此需要一个 While 循环不断地轮询这个函数。
下面具体讲讲Schedule模块的安装和初级、进阶使用方法。
1.准备
请选择以下任一种方式输入命令安装依赖 ：
1. Windows 环境 打开 Cmd (开始-运行-CMD)。
2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。
3. 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal.
2.基本使用
最基本的使用在文首已经提到过，下面给大家展示更多的调度任务例子：
可以看到，从月到秒的配置，上面的例子都覆盖到了。不过 如果你想只运行一次任务 的话，可以这么配：
参数传递
如果你有参数需要传递给作业去执行，你只需要这么做：
获取目前所有的作业
如果你想获取目前所有的作业：
取消所有作业
如果某些机制触发了，你需要立即清除当前程序的所有作业：
标签功能
在设置作业的时候，为了后续方便管理作业，你可以给作业打个标签，这样你可以通过标签过滤获取作业或取消作业。
设定作业截止时间
如果你需要让某个作业到某个时间截止，你可以通过这个方法：
截止日期之后，该作业将无法运行。
立即运行所有作业，而不管其安排如何
如果某个机制触发了，你需要立即运行所有作业，可以调用 schedule.run_all :
3.高级使用
装饰器安排作业
如果你觉得设定作业这种形式太啰嗦了，也可以使用装饰器模式：
并行执行
默认情况下，Schedule 按顺序执行所有作业。其背后的原因是，很难找到让每个人都高兴的并行执行模型。
不过你可以通过多线程的形式来运行每个作业以解决此限制：
日志记录
Schedule 模块同时也支持 logging 日志记录，这么使用：
效果如下：
异常处理
Schedule 不会自动捕捉异常，它遇到异常会直接抛出，这会导致一个严重的问题： 后续所有的作业都会被中断执行 ，因此我们需要捕捉到这些异常。
你可以手动捕捉，但是某些你预料不到的情况需要程序进行自动捕获，加一个装饰器就能做到了：
这样， bad_task 在执行时遇到的任何错误，都会被 catch_exceptions 捕获，这点在保证调度任务正常运转的时候非常关键。
python常用到哪些库？
Python作为一个设计优秀的程序语言，现在已广泛应用于各种领域，依靠其强大的第三方类库，Python在各个领域都能发挥巨大的作用。
下面我们就来看一下python中常用到的库：
数值计算库：
1. NumPy
支持多维数组与矩阵运算，也针对数组运算提供大量的数学函数库。通常与SciPy和Matplotlib一起使用，支持比Python更多种类的数值类型，其中定义的最重要的对象是称为ndarray的n维数组类型，用于描述相同类型的元素集合，可以使用基于0的索引访问集合中元素。
2. SciPy
在NumPy库的基础上增加了众多的数学、科学及工程计算中常用的库函数，如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等，可进行插值处理、信号滤波，以及使用C语言加速计算。
3. Pandas
基于NumPy的一种工具，为解决数据分析任务而生。纳入大量库和一些标准的数据模型，提供高效地操作大型数据集所需的工具及大量的能快速便捷处理数据的函数和方法，为时间序列分析提供很好的支持，提供多种数据结构，如Series、Time-Series、DataFrame和Panel。
数据可视化库：
4. Matplotlib
第一个Python可视化库，有许多别的程序库都是建立在其基础上或者直接调用该库，可以很方便地得到数据的大致信息，功能非常强大，但也非常复杂。
5. Seaborn
利用了Matplotlib，用简洁的代码来制作好看的图表。与Matplotlib最大的区别为默认绘图风格和色彩搭配都具有现代美感。
6. ggplot
基于R的一个作图库ggplot2，同时利用了源于《图像语法》（The Grammar of Graphics）中的概念，允许叠加不同的图层来完成一幅图，并不适用于制作非常个性化的图像，为操作的简洁度而牺牲了图像的复杂度。
7. Bokeh
跟ggplot一样，Bokeh也基于《图形语法》的概念。与ggplot不同之处为它完全基于Python而不是从R处引用。长处在于能用于制作可交互、可直接用于网络的图表。图表可以输出为JSON对象、HTML文档或者可交互的网络应用。
8. Plotly
可以通过Python notebook使用，与Bokeh一样致力于交互图表的制作，但提供在别的库中几乎没有的几种图表类型，如等值线图、树形图和三维图表。
9. pygal
与Bokeh和Plotly一样，提供可直接嵌入网络浏览器的可交互图像。与其他两者的主要区别在于可将图表输出为SVG格式，所有的图表都被封装成方法，且默认的风格也很漂亮，用几行代码就可以很容易地制作出漂亮的图表。
10. geoplotlib
用于制作地图和地理相关数据的工具箱。可用来制作多种地图，比如等值区域图、热度图、点密度图。必须安装Pyglet（一个面向对象编程接口）方可使用。
11. missingno
用图像的方式快速评估数据缺失的情况，可根据数据的完整度对数据进行排序或过滤，或者根据热度图或树状图对数据进行修正。
web开发库：
12. Django
一个高级的Python Web框架，支持快速开发，提供从模板引擎到ORM所需的一切东西，使用该库构建App时，必须遵循Django的方式。
13. Socket
一个套接字通讯底层库，用于在服务器和客户端间建立TCP或UDP连接，通过连接发送请求与响应。
14. Flask
一个基于Werkzeug、Jinja 2的Python轻量级框架（microframework），默认配备Jinja模板引擎，也包含其他模板引擎或ORM供选择，适合用来编写API服务（RESTful rervices）。
15. Twisted
一个使用Python实现的基于事件驱动的网络引擎框架，建立在deferred object之上，一个通过异步架构实现的高性能的引擎，不适用于编写常规的Web Apps，更适用于底层网络。
数据库管理：
16. MySQL-python
又称MySQLdb，是Python连接MySQL最流行的一个驱动，很多框架也基于此库进行开发。只支持Python 2.x，且安装时有许多前置条件。由于该库基于C语言开发，在Windows平台上的安装非常不友好，经常出现失败的情况，现在基本不推荐使用，取代品为衍生版本。
17. mysqlclient
完全兼容MySQLdb，同时支持Python 3.x，是Django ORM的依赖工具，可使用原生SQL来操作数据库，安装方式与MySQLdb一致。
18. PyMySQL
纯Python实现的驱动，速度比MySQLdb慢，最大的特点为安装方式简洁，同时也兼容MySQL-python。
19. SQLAlchemy
一种既支持原生SQL，又支持ORM的工具。ORM是Python对象与数据库关系表的一种映射关系，可有效提高写代码的速度，同时兼容多种数据库系统，如SQLite、MySQL、PostgreSQL，代价为性能上的一些损失。
自动化运维：
20. jumpsever跳板机
一种由Python编写的开源跳板机（堡垒机）系统，实现了跳板机的基本功能，包含认证、授权和审计，集成了Ansible、批量命令等。
支持WebTerminal Bootstrap编写，界面美观，自动收集硬件信息，支持录像回放、命令搜索、实时监控、批量上传下载等功能，基于SSH协议进行管理，客户端无须安装agent。主要用于解决可视化安全管理，因完全开源，容易再次开发。
21. Magedu分布式监控系统
一种用Python开发的自动化监控系统，可监控常用系统服务、应用、网络设备，可在一台主机上监控多个不同服务，不同服务的监控间隔可以不同，同一个服务在不同主机上的监控间隔、报警阈值可以不同，并提供数据可视化界面。
22. Magedu的CMDB
一种用Python开发的硬件管理系统，包含采集硬件数据、API、页面管理3部分功能，主要用于自动化管理笔记本、路由器等常见设备的日常使用。由服务器的客户端采集硬件数据，将硬件信息发送至API，API负责将获取的数据保存至数据库中，后台管理程序负责对服务器信息进行配置和展示。
23. 任务调度系统
一种由Python开发的任务调度系统，主要用于自动化地将一个服务进程分布到其他多个机器的多个进程中，一个服务进程可作为调度者依靠网络通信完成这一工作。
24. Python运维流程系统
一种使用Python语言编写的调度和监控工作流的平台，内部用于创建、监控和调整数据管道。允许工作流开发人员轻松创建、维护和周期性地调度运行工作流，包括了如数据存储、增长分析、Email发送、A/B测试等诸多跨多部门的用例。
GUI编程：
25. Tkinter
一个Python的标准GUI库，可以快速地创建GUI应用程序，可以在大多数的UNIX平台下使用，同样可以应用在Windows和Macintosh系统中，Tkinter 8.0的后续版本可以实现本地窗口风格，并良好地运行在绝大多数平台中。
26. wxPython
一款开源软件跨平台GUI库wxWidgets的Python封装和Python模块，是Python语言的一套优秀的GUI图形库，允许程序员很方便地创建完整的、功能健全的GUI用户界面。
27. PyQt
一个创建GUI应用程序的工具库，是Python编程语言和Qt的成功融合，可以运行在所有主要操作系统上，包括UNIX、Windows和Mac。PyQt采用双许可证，开发人员可以选择GPL和商业许可，从PyQt的版本4开始，GPL许可证可用于所有支持的平台。
28. PySide
一个跨平台的应用程式框架Qt的Python绑定版本，提供与PyQt类似的功能，并相容API，但与PyQt不同处为其使用LGPL授权。
更多Python知识请关注Python自学网。
