写了个爬虫 但只是单进程的 想开多进程 具体要求就是可以自动协商不重复 不要开 100 个进程 回头输出了 100 份完全一样的结果
|
1
|
|
ericlsOct 18, 2016 via iPhone
3
asyncio
|
|
clinoOct 18, 2016
4
也可以用协程吧,如果非 cpu 密集型的话
|
|
9hillsOct 18, 2016
5
multiprocess 就行
|
|
NostalgiaOct 18, 2016
9
推荐 concurrent.futures ,支持多进程 /多线程,且封装的接口一致;抽象的程度比 threading, multiprocessing 更高些。
|
|
ericlsOct 18, 2016 via iPhone
10
asyncio 有 back port 吧
另外楼上说的 promise 写起来也挺舒服的 要注意 process pool executor 必须要 picklable |
|
shylingOct 18, 2016
11
concurrent.futures , MultiThreadPool
|
|
reynoOct 18, 2016 via iPhone
12
直接上 gevent
|