大家一起来说说，做爬虫以后的方向
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3054 days ago, the information mentioned may be changed or developed.
 |
1
爬虫犯法。。。
|
1 |
ImmortalJun 23, 2018
2
怎么还有人在说爬虫犯法..
|
 |
qsnow6Jun 23, 2018
3
爬虫往高了走都是逆向
|
 |
H0TSp1RnGJun 23, 2018 via Android
4
除了这些 一共还要学哪些安全的东西
|
 |
MascdoJun 23, 2018
5
题主做爬虫多久了啊
|
 |
silencefentJun 23, 2018
6
一年零六个月警告
|
 |
crystoneJun 23, 2018
7
往后走都是黑客技术啊
|
 |
estJun 23, 2018
11
我见过牛逼的爬虫都是直接 GUI 群控。。。。根本不需要逆向。
|
 |
qiayueJun 23, 2018
12
你看得见的数据，作者不一定就想给你
|
 |
SingeeKingJun 23, 2018
13
@est #11 效率低啊
|
|
estJun 23, 2018
14
@SingeeKing 写爬虫不到处都是 sleep 生怕别人给你封了。。。
|
 |
jobtestingJun 23, 2018 via iPhone
16
反爬虫
|
 |
zgwjusticeJun 23, 2018 via iPhone
19
@linhanqiu 看头条前 cto 因为爬虫被判刑了吗 就只是爬了头条的视频
|
 |
20
@zgwjustice ...e
|
|
zgwjusticeJun 23, 2018 via iPhone
23
@linhanqiu 我记得罪名就是 UA 及 IP 绕过发爬机制 危害计算机系统 还赔了几万的技术服务费
|
|
zgwjusticeJun 23, 2018 via iPhone
24
@linhanqiu 伪造 UA 及 IP 绕过反爬机制
|
|
25
@zgwjustice 这个罪名也是 666 的
|
 |
wulasiteJun 23, 2018 via Android
26
老铁啊，那你可知道学安全什么都要学啊。
其实有什么需求就变成什么样的人，这不是常态吗(滑稽 |
 |
swullingJun 24, 2018 via iPhone
27
伪造 UA 都犯法，你这还要脱壳？
怕不是想吃牢饭了 |
 |
winglight2016Jun 24, 2018 via iPad
28
逆向用于商业目的就是违法的——包括破签、协议接口逆向等等，个人理解不一定准，不过如果是我，我会更低调一点
|
 |
tingyunsayJun 24, 2018
29
我搞了一年多的爬虫，除了新出现的反爬方法，就是 app 里的逆向了，推荐个博客：尼古拉斯*赵四，逆向入门都是看的这位哥的～～
|
|
tingyunsayJun 24, 2018
30
卧槽，看了楼上几位的对话，现在感觉慌的一批啊.....
|
 |
tnt666666Jun 24, 2018 via Android
31
不要争辩是否违法，因为法律说你违法，你就违法了。
|
 |
fihtJun 24, 2018
32
往反爬虫这个方向走，越走越死。
|
 |
alexnevskyJun 24, 2018
33
自己研究下没事，要是用于商业用途，东搞西搞，对方告你就是违法了
|
|
34
@tingyunsay 好的，哥们，多谢
|
 |
sola97Jun 25, 2018
36
爬虫到头搞信息安全么
|
 |
erosripeJun 25, 2018 via Android
37
@tingyunsay 求链接
|
|
38
|
 |
fengche361Jun 25, 2018
41
还是要小心一点，感觉数据要是用于商业用途，基本上就是游走在法律边缘
|
 |
nbboyJun 25, 2018
42
不是逆向，是正向，逆向只是手段。产出程序才是正道。
|
 |
U87Jun 25, 2018
43
@linhanqiu 爬虫使用代理时,公司提供了快代理收费接口,我这边直接拿到接口返回的那些 addres 和 port,然后做了个简单的判断,就是遍历拿到的代理 ip 列表访问个 http 的网站,返回 200 的我就取,然后就去实现我的爬虫(response = requests.get(url=url, headers=random.choice(self.headers), proxies=random.choice(proxy_list), timeout=10)),随机获取验证过的 ip,然后再请求.但是这样好像不行.都是这种报错 HTTPConnectionPool,请问前辈是哪里的问题
|
 |
18835579411Jun 26, 2018
44
@linhanqiu 感谢
|
 |
rocketman13Jun 26, 2018
45
js 加密参数一般怎么破
|
 |
supervipcardJun 27, 2018
46
爬虫做多了，不会点逆向跟深度学习，真心搞不动
|
 |
wushaojun321Jun 30, 2018 via iPhone
47
一样啊，兄弟，发请求很容易，难的是发的内容，最近在看加密与解密
|
Select Language