M$整天不好好干活，搞些莫名其妙的东西。。

定向抓取，问问Spider的RD就好了。

不过自己搞的话量不大的用Scrapy不错，有个参考
https://github.com/gnemoug/distribute_crawler

用Mongodb做存储，Redis做分布式队列

error_log logs/error_log;

配置里面能指定error log的路径

@sd6733531 谁说不能记住啊

Chrome DevTools 最下面左数第五个按钮是个小灰点，按下去变红，此时不管是redirect还是你重新打开其他的网页，全部能记录

这个东西不应该被备份的，就应该呆在本地

换机器必须要换key

啥叫「这样可能会在同步的时候出一些问题吧？」

反正是单向同步，有啥问题。。。

@alay9999 恩，ubuntu卸载尽量用autoremove --purge ,这个会把那些自动安装的依赖包都清理掉

localized-error-pages 不是错误日志。。。conf.d下面怎么会有日志呢

access_log 和error_log 才是

@suziewong 只要保证一站一密，然后强密码就没事

github本身没问题，是用户的密码有问题

瓶颈在IO，多线程也没有帮助的

如果你需要实时的一个输出，建议你做个cron任务，定时运行下cache起来。。

@DXpro 觉得lz确实有点。。

算跨系统，怎么不算。centos和ubuntu差老远了

@LetFoxRun 恩，我没注意，抱歉啊

ls。。。莫做伸手党

我怎么觉得 语法糖 一般是降低了程序的可读性来换取效率啊，不管是写程序的效率还是程序运行的效率

@rrfeng rfc里是这么写的，第一次请求必须带公钥和签名

验证通过后，双方都是互相用对方公钥加密就没问题了，好像challenge这步rfc里没写

另外签名其实就是加密。。。

从rfc来看，ruanyifeng的描述也有点问题
http://tools.ietf.org/html/rfc4252

ssh公钥验证时，首先是ssh client发送（公钥+通过私钥签名后的字符串），字符串的内容却不是server返回的，server则负责验证签名是否正确（首先检查公钥在不在服务端的auth_keys中，然后用这个公钥进行验证）

session字符串的内容应该是算法有关，不如rfc给了一个MAY

string session identifier
byte SSH_MSG_USERAUTH_REQUEST
string user name
string service name
string "publickey"
boolean TRUE
string public key algorithm name
string public key to be used for authentication