同题，之所以想开这个 organizations 是因为 1.因为有很多网站的反爬手段都很类似，把这些反爬手段收集起来能够给做爬虫的兄弟们一些借鉴。 2.爬虫本身有时候是很繁琐的一件事情，在 api，网页,源码中寻找数据，所以希望开源一些实际生产环境的解决方案让大家使用 3.爬虫这个岗位确实很有挑战性，大家也可以谈谈自己爬过的艰难的网站。
来吧，留下你的 github 名，加入我们！
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
最近想开个 github 的 Organizations https://github.com/AntiCrawlerSolution 是关于各种反爬的解决方案
Lateautumn · Nov 28, 2018 · 5116 viewsThis topic created in 2907 days ago, the information mentioned may be changed or developed.
 |
CharlieBrownNov 28, 2018
1
|
 |
37Y37Nov 28, 2018
2
乱爬数据不是违法的么^-^
|
 |
3
@37Y37 这个应该这么说，我们只是交流想法，具体爬的话不是得对应到具体人，具体公司吗，这个我们就不管了，大家都是为了技术嘛
|
|
4
@CharlieBrown 好的，
|
|
5
@CharlieBrown 老哥，已经邀请了，点击这个网址接受就好了 https://github.com/AntiCrawlerSolution
|
 |
Les1ieNov 28, 2018
6
|
 |
estNov 28, 2018
7
反扒还需要手段？谁爬就报警。
|
 |
dezhou9Nov 28, 2018 via Android
8
爬虫组干过俩月的路过
|
|
9
这个 github 之前也关注过，确实很优秀，不过我觉得还是内容比较少，一些方法也是比较旧了，所以希望有个 organizations 来让大家更加能够及时获取这些前沿的反爬手段以及对应的解决方案
|
|
10
@est 老哥牛比阿
|
|
11
@dezhou9 兄弟什么方向的
|
 |
oohNov 28, 2018
12
内容图片输出即可
|
 |
andylsrNov 28, 2018 via Android
13
andylsr~常年爬数据~
|
|
14
@andylsr 老哥，已发
|
|
15
@ooh ？？？
|
 |
Nick2VIPUserNov 28, 2018
16
nickliqian
|
 |
metamaskNov 28, 2018
17
chrisguox
|
 |
SparetireNov 28, 2018
18
|
 |
zsl199512101234Nov 28, 2018
19
https://github.com/PinoZhou 在公司写爬虫，主要是 java 爬虫，python 也会点，希望加入一起学习
|
 |
stardivinerNov 29, 2018
20
|
 |
519718366Nov 29, 2018
21
工作上也爬～～被反扒了，就 sleep 时间长一点，楼主这个反扒方案很给力啊
相见恨晚，学习了 |
 |
dongyaNov 29, 2018
22
相煎何急
|
 |
yongSirNov 29, 2018
23
|
|
24
@Nick2VIPUser 老哥已发
|
|
25
@freakxx chrisguox
|
|
26
@zsl199512101234 PinoZhou
|
|
27
@Sparetire PinoZhou
|
|
28
@yongSir 13hoop
|
|
29
@Sparetire 之前也遇到过反调试的，不知道老哥你这个怎么样，star 你一下
|
 |
mmdsunNov 29, 2018 via Android
30
|
|
31
@mmdsun 老哥已发
|
 |
kenneth663Nov 30, 2018
32
|
|
33
@kenneth663 兄弟上车
|
|
34
新开了个反爬小组的微信群，老哥们可以加入一下
 |
 |
ranleleDec 2, 2018
35
我看的怎么只有目录啊
|
|
36
@ranlele 目前还在填充具体的细节，老哥稍等哈，也可以共享一下自己的案例哈
|
 |
wc110302Dec 3, 2018
37
|
|
38
|
Select Language