一、任务调度器简介
在进行代码优化之前,我们需要了解Python的任务调度器,它是Python提供的一种多任务管理方式,允许多个任务并发执行,以便实现高效利用CPU。Python的任务调度器主要分为两种,一种是Thread,另一种是Process。
Thread是一个轻量级的进程,它只能运行在同一个进程之间,因为Python有一个全局解释器锁(GIL),而这个锁只允许一个线程在Python解释器中运行。因此,当我们使用Thread时,我们的代码并不会得到多线程的优势,反而会降低整体的执行效率。
Process则是完全独立的进程,它们可以并发执行,让CPU平衡地处理多个任务。但是Process开销比Thread大,且不同进程之间不能直接共享数据,需要使用一些IPC工具进行通信。
因此,为了能够同时发挥Python多任务的优势又不受GIL的限制,我们可以从Python3.7版本开始使用asyncio库,它提供了基于协程的任务调度方式。asyncio库是Python自带的一个异步IO库,它专门解决了IO密集型的任务处理场景,支持并发执行,通过task.run()实现高效地使用协程。
二、使用task.run()实现高效代码执行
对于Python3.7及以上版本的用户,我们可以使用asyncio库和task.run()来实现高效的代码执行,下面是一个简单的示例:
import asyncio async def task(): print("start") await asyncio.sleep(2) print("end") async def main(): task_list = [task(), task(), task()] await asyncio.gather(*task_list) if __name__ == "__main__": asyncio.run(main())
在上面的代码示例中,我们定义了一个协程(即任务)task(),它会等待2秒钟然后输出"end",然后我们定义了一个主协程main(),它会同时启动3个task()协程,等待它们全部完成之后才结束。
使用asyncio库和task.run()可以充分利用CPU进行并发处理,因为我们的任务是IO密集型的,也就是CPU不需要做很多运算,而是等待IO操作完成,因此可以用asyncio使用异步IO,在等待IO操作的同时进行其他任务处理,提高了整个程序的效率。
三、使用并发技巧优化代码执行效率
除了使用asyncio库和task.run()外,我们还可以通过一些并发技巧来进一步优化代码的执行效率,下面我们将分别介绍使用多进程、多线程和协程来实现并发。
1. 使用多进程并发
import concurrent.futures def task(num): print("start_{}".format(num)) time.sleep(2) print("end_{}".format(num)) if __name__ == "__main__": with concurrent.futures.ProcessPoolExecutor() as executor: count = 3 executor.map(task, [i for i in range(count)])
在上面的代码示例中,我们使用了concurrent.futures库和ProcessPoolExecutor()来实现多进程并发,使用map()方法启动多个task()进程同时执行。
多进程并发可以充分利用CPU多核处理器的特性,同时运行多个进程,每个进程相互独立,且不受GIL的限制,可以先进先出(FIFO)地进入处理队列,加快了处理速度和效率。
2. 使用多线程并发
import concurrent.futures def task(num): print("start_{}".format(num)) time.sleep(2) print("end_{}".format(num)) if __name__ == "__main__": with concurrent.futures.ThreadPoolExecutor() as executor: count =3 executor.map(task, [i for i in range(count)])
在上面的代码示例中,我们使用了concurrent.futures库和ThreadPoolExecutor()来实现多线程并发,使用map()方法启动多个task()线程同时执行。
多线程并发可以有效地利用CPU处理器的能力,同时运行多个线程,由于线程之间共享全局变量,也受GIL的限制,容易产生资源竞争的问题。因此,我们需要注意线程安全问题。
3. 使用协程并发
import asyncio async def task(num): print("start_{}".format(num)) await asyncio.sleep(2) print("end_{}".format(num)) async def main(): task_list = [task(i) for i in range(3)] await asyncio.gather(*task_list) if __name__ == "__main__": asyncio.run(main())
在上面的代码示例中,我们使用了asyncio库和task()协程来实现多协程并发,使用gather()方法启动多个task()协程同时执行。
协程并发通过异步非阻塞的方式实现,即通过一种特殊的函数和关键字,让不同任务交错执行、同时进行,提高资源利用率和运行效率。相比于多进程、多线程,协程的开销更小、更容易掌控,也能很好地克服I/O密集型任务而导致的CPU阻塞问题。