Python并行任务: 处理网络和 I/O 密集型任务
/ 1 min read
Updated:适合一些在线爬取、接口调用任务,max_workers控制频率
import concurrent.futuresfrom tqdm import tqdmjob_list = [ _ for _ in range(10)]# 多线程版本def process(x): # 实现,返回处理结果 return x**2
# 线程池执行并显示进度条,线程数为10with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor: # 将executor.map的结果转换为列表并传递给tqdm result_list = list(tqdm(executor.map(process, job_list), total=len(job_list)))