python 线程池顺序执行
在Python中,线程池(ThreadPoolExecutor
)默认是并发执行任务的,但若需要实现任务的顺序执行(按提交顺序执行或按结果顺序处理),可以通过以下方案实现:
方案一:强制单线程(伪顺序执行)
将线程池的最大工作线程数设为1,任务会按提交顺序依次执行(但失去了并发意义):
from concurrent.futures import ThreadPoolExecutordef task(n):return f"Task {n} completed"with ThreadPoolExecutor(max_workers=1) as executor: # 单线程futures = [executor.submit(task, i) for i in range(1, 6)]for future in futures:print(future.result())
方案二:按提交顺序获取结果
保持并发执行,但按任务提交顺序获取结果(若任务完成顺序不确定):
from concurrent.futures import ThreadPoolExecutordef task(n):import time, randomtime.sleep(random.uniform(0, 1)) # 模拟随机耗时return f"Task {n} completed"with ThreadPoolExecutor() as executor:# 提交任务并按顺序存储 Future 对象futures = [executor.submit(task, i) for i in range(1, 6)]# 按提交顺序逐个获取结果(会阻塞直到对应任务完成)for future in futures:print(future.result()) # 输出顺序始终是 1,2,3,4,5
方案三:任务间依赖控制
若任务需要严格按顺序执行(前一个任务完成后才能执行下一个),使用同步锁:
from concurrent.futures import ThreadPoolExecutor
import threadinglock = threading.Lock()
current_step = 0def sequential_task(n):global current_stepwhile True:with lock:if n == current_step + 1:print(f"Executing Task {n}")current_step = nbreakwith ThreadPoolExecutor(max_workers=5) as executor:executor.map(sequential_task, range(1, 6)) # 严格按 1→2→3→4→5 执行
方案四:队列顺序消费
使用队列(Queue
)控制任务执行顺序:
from concurrent.futures import ThreadPoolExecutor
import queuedef worker(q):while not q.empty():task_id = q.get()print(f"Processing Task {task_id}")q.task_done()task_queue = queue.Queue()
for i in range(1, 6):task_queue.put(i)with ThreadPoolExecutor() as executor:# 启动多个线程消费队列(实际按队列顺序执行)for _ in range(3): # 3个工作线程executor.submit(worker, task_queue)task_queue.join() # 等待所有任务完成
适用场景总结
方案 | 特点 | 适用场景 |
---|---|---|
单线程池 | 简单但无并发 | 调试或资源受限环境 |
顺序获取结果 | 并发执行,顺序处理结果 | 结果需按提交顺序处理(如日志写入) |
任务间依赖锁 | 严格顺序执行 | 任务有前后依赖关系 |
队列消费 | 动态任务按队列顺序执行 | 生产者-消费者模型 |
根据需求选择最合适的方法,通常方案二(顺序获取结果)能满足大多数场景。