python 下有什么好用的多进程并发框架么

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3640 days ago, the information mentioned may be changed or developed.

写了个爬虫但只是单进程的想开多进程具体要求就是可以自动协商不重复不要开 100 个进程回头输出了 100 份完全一样的结果

进程

爬虫

Python

好用

12 replies • 2016-10-18 12:12:07 +08:00

Livid

MOD

PRO

Oct 18, 2016

http://python-rq.org/

soulmine

Oct 18, 2016

@Livid 谢谢我去看看 doc

ericls

Oct 18, 2016 via iPhone

asyncio

clino

Oct 18, 2016

也可以用协程吧,如果非 cpu 密集型的话

9hills

Oct 18, 2016

multiprocess 就行

soulmine

Oct 18, 2016

@9hills 这要在爬虫里面写啊懒得去写 multiprocessing

soulmine

Oct 18, 2016

@clino 只要能满足条件其实无所谓的爬虫肯定是受限于网络和 Io 的问题

soulmine

Oct 18, 2016

@ericls 然而我用的 2.7....

Nostalgia

Oct 18, 2016

推荐 concurrent.futures ，支持多进程 /多线程，且封装的接口一致；抽象的程度比 threading, multiprocessing 更高些。

ericls

Oct 18, 2016 via iPhone

asyncio 有 back port 吧

另外楼上说的 promise 写起来也挺舒服的

要注意 process pool executor 必须要 picklable

shyling

Oct 18, 2016

concurrent.futures ， MultiThreadPool

reyno

Oct 18, 2016 via iPhone

直接上 gevent