想要爬外面的网站，大佬们是用什么做代理池的呢

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2763 days ago, the information mentioned may be changed or developed.

最近想要爬外面的网站，怕爬多了被封 IP，但是好像没有好用的 X 墙代理池，请问各位大佬是怎么操作的，哪里获取 X 墙代理，或者使用哪些方法不容易被禁 IP 呢

代理

大佬

请问

网站

14 replies • 2019-05-08 22:58:37 +08:00

Cschotdog

Apr 16, 2019

nanaw

Apr 16, 2019 via Android

套一层 fq 代理,再用国外的代理池

dsg001

Apr 16, 2019

vultr, 多开几个，用完就关

renmu123

Apr 17, 2019 via Android

有国外的代理池，你在 v 站上搜一下，记得有人介绍过

sxcccc

Apr 17, 2019 via iPhone

用 aws 的 ec2 自己架设代理多注册几个，弄成代理池下载 m.7zy.net 搜索

gimp

Apr 17, 2019

国外服务器 + 代理池，代理池想稳定得付费，价格看预算，或者自己买几个廉价 VPS 搭 SS 也行，看目标网站敏感程度

server

Apr 17, 2019

haipproxy 了解下，强推

agdhole

Apr 17, 2019 via Android

可以用机场，然后解析订阅地址，然后转成 http 代理，网上能搜到具体教程

boom7

Apr 17, 2019 via Android

去年接过国外几个期刊网站爬虫的外包，直接用了国外的付费代理…好像是每月 100 刀？快爬完的时候发现他们的代理被墙了，直接发邮件退款了😂

liuxu

Apr 17, 2019

@server 已经不被维护了

Honda

Apr 17, 2019

同求

server

Apr 17, 2019

@liuxu 挺好用的，改改又不是很困难； docker-compose 直接用

0yster

May 8, 2019

@agdhole 老哥，我一直有把廉价机场改造成代理池的想法。但是谷歌搜了很久都没有搜到前人写这个主题的文章。能否细说一下

agdhole

May 8, 2019

@0yster #13
用 socks5 to http 的工具(关键词 socks5 to http)
然后解析订阅地址(关键词 ssr 订阅解析)