很多人刚开始接触Python多任务的时候,都会有很强的落差感:明明开了好几个线程,怎么运行速度不仅没翻倍,反而还变慢了,和想象里“多任务同时运行、效率成倍提升”完全不一样。这不是代码写错了,是Python的底层设计决定的,很多人对多任务的认知,从一开始就有偏差。
多数人理解的多任务并行,是多个任务同时在CPU核心上运行,任务越多,速度越快。但在Python的多线程里,做不到真正的并行,根源就是全局解释器锁,也就是常说的GIL。简单来说,GIL是Python解释器里的一把锁,会保证同一时间只有一个线程能执行Python字节码,哪怕电脑是多核CPU,多线程也只是在不同线程之间来回切换,并不是真的同时运行。对于需要大量计算的CPU密集型任务,多线程不仅不会提速,反而会因为线程切换带来额外的开销,导致运行速度比单线程还慢。
这也是很多人觉得Python多任务“没用”的原因,但其实它只是不适合CPU密集型场景,在IO密集型任务里,多线程的优势非常明显。IO密集型任务,比如网络请求、文件读写、数据库查询,这类任务大部分时间都在等待结果,不需要占用CPU。比如爬虫请求网页,发完请求之后就要等服务器响应,这个等待的时间CPU是空闲的。多线程就可以在一个任务等待的时候,立刻切换到另一个任务执行,把等待的时间利用起来,整体效率会提升很多。比如爬取一百个网页,单线程要等每个请求返回再发下一个,多线程可以同时发很多请求,等待的时间重叠起来,总耗时会少很多。
如果想要在CPU密集型任务里实现真正的并行,Python也有解决方案,就是用多进程。每个进程有自己独立的解释器和独立的GIL,可以运行在不同的CPU核心上,真正实现并行计算。但多进程的开销比多线程大很多,进程之间数据共享也更麻烦,开发和调试的难度更高,需要根据场景选择。
很多人之所以觉得和想象中不一样,就是默认“多线程等于并行”,忽略了GIL的存在,也没有区分任务类型。不管什么场景都用多线程,自然达不到预期的效果。
Python的多任务从来不是万能的,不同的场景要用不同的方案。爬虫、文件处理这类IO密集型任务,用多线程或者协程就足够高效;数值计算、数据处理这类CPU密集型任务,要用多进程才能真正发挥多核优势。选对了方案,才能真正体会到多任务的效率提升。
码匠教育:Python 的多任务,为什么和想象中的并行不一样