300 刀都还不起？当然是禁止入境啦!

vs2017 企业版路过，盗版的，反正没掏钱。

@ncepuzs 你用的什么系统？ centos 还是 ubuntu 网上一大堆教程啊 我就是用的这个

只要用电信的网络 就不行了

香港阿里云

差一个程序员系列

卧槽还有这种操作

说下最终解决方案吧
1. 使用 mq 替代自带的队列，这样也方便断点续传，还有个原因是其中一个 bucket 图片大约有 7T 而我们购买的硬盘单个只有 4T 又不能做磁盘阵列，所以需要两个同时下而且不重复，于是乎就改造成了分布式的了
2. 拆分生产者和消费者，其中获得目录的服务既是消费者又是生产者，目前按照 24 楼仁兄的几个细节建议，改进了代码另外加了多处的异常判断和处理，目前非常健壮和稳定

速度：单机跑 100 个线程 两台机器一起跑，不加延时大约每秒 400 张，但是带宽会爆满，然后 mq 会断掉，所以加了延时，每个线程每次下载后加了 0.05 秒的延时后 下载速度大约每秒 300 到 360 张浮动，带宽占用百分之 80 到 95 浮动。目前很稳定。。

感谢各位

@ysc3839 目前没卡死了 一台电脑因为队列太大内存爆了
@mert472114271 目前没有卡死了 一直在运行

@NoAnyLove 按您说的几点
1. ClientSession 已改为一个
2. session.get timeout=60
3. response 使用 async with 打开

目前再跑 明日看看会不会还卡死

@NoAnyLove 感谢 我都试试看 谢谢

跑跑看 有问题在此贴继续讨论

另外写文件使用的 io 阻塞操作

写文件使用 aiofiles 实现异步写操作

async with aiofiles.open('download_err.txt', 'a') as f:
await f.write(new_key + '\n')

我觉得好像找到问题了。当 asyncio 队列满了之后 会阻塞线程。但是我这里用的 put_nowait

http://python.usyiyi.cn/translate/python_352/library/asyncio-queue.html
put_nowait(item)
将项目放入队列而不阻塞。

如果没有可用的空位，引发 QueueFull。

@mengskysama http 请求引起的卡死吗？

@mengskysama 对于单个进程而言 会等待的啊

@mengskysama 但是是异步的啊 应该会等待请求完成的啊

@mengskysama 是在每次 http 请求的时候加的吗？

@Lax 这里使用了 with 语句，应该能保证 with 语句执行完毕后已经关闭了打开的文件句柄。应该不是这个问题呀。