良许Linux教程网 干货合集 讲解一下Python中多线程和多处理

讲解一下Python中多线程和多处理

使用Python分析数据,如果使用了正确的数据结构和算法,有时可以大量提高程序的速度。实现此目的的一种方法是使用Muiltithreading(多线程)或Multiprocessing(多重处理)。

讲解一下Python中多线程和多处理

多线程

简单地说,线程允许您并行地运行程序。花费大量时间等待外部事件的任务通常适合线程化。它们也称为I/O Bound任务例如从文件中读写,网络操作或使用API在线下载。让我们来看一个示例,它展示了使用线程的好处。

1. 没有线程

在本例中,我们希望通过顺序运行程序来查看从Unsplash API下载15张图像需要多长时间:

import requests
import time
img_urls = [
   'https://images.unsplash.com/photo-1516117172878-fd2c41f4a759',
   'https://images.unsplash.com/photo-1532009324734-20a7a5813719',
   'https://images.unsplash.com/photo-1524429656589-6633a470097c',
   'https://images.unsplash.com/photo-1530224264768-7ff8c1789d79',
   'https://images.unsplash.com/photo-1564135624576-c5c88640f235',
   'https://images.unsplash.com/photo-1541698444083-023c97d3f4b6',
   'https://images.unsplash.com/photo-1522364723953-452d3431c267',
   'https://images.unsplash.com/photo-1513938709626-033611b8cc03',
   'https://images.unsplash.com/photo-1507143550189-fed454f93097',
   'https://images.unsplash.com/photo-1493976040374-85c8e12f0c0e',
   'https://images.unsplash.com/photo-1504198453319-5ce911bafcde',
   'https://images.unsplash.com/photo-1530122037265-a5f1f91d3b99',
   'https://images.unsplash.com/photo-1516972810927-80185027ca84',
   'https://images.unsplash.com/photo-1550439062-609e1531270e',
   'https://images.unsplash.com/photo-1549692520-acc6669e2f0c'
]

start = time.perf_counter() #start timer
for img_url in img_urls:
   img_name = img_url.split('/')[3] #get image name from url
   img_bytes = requests.get(img_url).content
with open(img_name, 'wb') as img_file:
    img_file.write(img_bytes) #save image to disk  

finish = time.perf_counter() #end timer
print(f"Finished in {round(finish-start,2)} seconds")  

#results
Finished in 23.101926751 seconds

一共用时23秒。

2. 多线程

让我们看看Pyhton中的线程模块如何显著地改进我们的程序执行:

import time
from concurrent.futures import ThreadPoolExecutor

def download_images(url):
   img_name = img_url.split('/')[3]
   img_bytes = requests.get(img_url).content
   with open(img_name, 'wb') as img_file:
        img_file.write(img_bytes)
        print(f"{img_name} was downloaded")

start = time.perf_counter() #start timer
with ThreadPoolExecutor() as executor:
   results = executor.map(download_images,img_urls) #this is Similar to map(func, *iterables)
finish = time.perf_counter() #end timer
print(f"Finished in {round(finish-start,2)} seconds")

#results  
Finished in 5.544147536 seconds

我们可以看到,与不使用线程代码相比,使用线程代码可以显著提高速度。从23秒到5秒。

对于本例,请注意在创建线程时存在开销,因此将线程用于多个API调用是有意义的,而不仅仅是单个调用。

此外,对于密集的计算,如数据处理,图像处理多处理比线程执行得更好。

以上就是良许教程网为各位朋友分享的Linu系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部