2017 年 4 月份开始写爬虫系列文章，不知不觉到了 9 月份，时间过的真快，写毕业论文，毕业了，找工作，然后辞职，然后接着奋斗
4 月份开始写，一直断断续续，今天给爬虫文章收一个尾。
文章放到了的个人网站上：www.zhouww.com
补充了如下内容
- 多进程
- 代理池
- json 处理
- 数据存储
- 手机抓包
有些文章需要些基础，有些文章只讲讲心得。欢迎大家指正，欢迎投稿。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3341 days ago, the information mentioned may be changed or developed.
 |
cxd44Sep 15, 2017 via Android
1
谢谢，可以写一些对没啥基础的人的教程吗？
|
 |
2
写的很系统。可以加一些爬虫框架，比如，pyspider
|
1 |
a87150Sep 15, 2017
3
写爬虫的时候总觉得有点不好意思，感觉给别人添麻烦了
|
 |
a1044634486Sep 15, 2017
4
为啥你的站打开好慢，我的天。
|
 |
ilaSep 15, 2017 via Android
5
@chrisliu1314 能否讲讲他和 scrapy 的差异吗
|
|
chrisliu1314Sep 15, 2017 via Android
6
@ila 没有过 scrapy。。。
|
|
chrisliu1314Sep 15, 2017 via Android
7
@ila 没有用过
|
 |
8
@chrisliu1314 一直没用过框架，有机会去接触下
|
|
9
@a1044634486 不会吧，国内 ip 我分流到了 coding 的 pages 上，国外的是 github 的 pages 上
|
 |
26888Sep 15, 2017 via Android
12
遇到中文网页不是用 utf8 编码(比如是 gb2312)这样的页面，存到数据库里(数据库是 utf8)，一般怎么处理？什么时候转码啊？
|
|
a1044634486Sep 16, 2017
13
<img src = "https://i.loli.net/2017/09/16/59bbfb19e2df1.png">
|
|
14
|
 |
16
老哥您的网站打不开啊！！
|
|
17
@a1044634486 好吧，感谢反馈。说实话，coding，有时候不稳定，我也会遇到，>_>
|
|
18
@taochunfan coding 的 pages 和 github 的 pages，应该没有问题啊，我刚刚又试了一遍。（虽然说 coding 有时候不稳定）
|
|
19
@wisefree 现在又可以了
|
|
20
@taochunfan 真心尴尬，具体原因我也不太清楚，抱歉哈
|
|
21
博客使用的是 coding.net 和 github.com 的 pages 功能
工具：hexo + next 主题 域名是万网，做了一下 ip 分流，国内 ip 访问 coding，国外 ip 访问 github 至于打不开的话，我也找不到好的方法处理，建议多试几次，>_>。（抱拳） |
 |
22
用代理打开了
|
|
23
@yuluofanchen 好尴尬哈，至今没有排查出问题。抱歉哈
|
 |
24
你的网站厉害了， 走代理才能打开
|
|
26
现在不走代理也可以打开了！
|
 |
27
|
Select Language