Python3 如果抓 js 生成的 html 网页？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4470 days ago, the information mentioned may be changed or developed.

我是想抓super-ping.com的网页。
比如说 http://www.super-ping.com/?ping=youtube.com&locale=en

加载网页时需要过一会儿 "ping ..." 才会变成所需的内容。

这时应该如何处理？

ping.com

网页

Python3

9 replies • 2014-08-13 13:02:53 +08:00

pimin

Aug 9, 2014 via iPhone

http.client

ehs2013

Aug 9, 2014

http://www.super-ping.com/ping.php?node=节点代号&ping=youtube.com

ehs2013

Aug 9, 2014

节点列表见 HTML 261 行

Donate

Aug 9, 2014 via Android

@ehs2013 请问这是怎么找到的。。下次如遇相同情况应该如何处理？

pimin

Aug 9, 2014 via iPhone

@Fulminit
抓包查看浏览器正常访问过程判断就好了

Donate

Aug 9, 2014

@ehs2013
打开网址比如说
http://www.super-ping.com/ping.php?node=Hong-Kong&ping=youtube.com
进去只有网站域名一个。。

lujjjh

Aug 9, 2014

@Fulminit
需要指定一下 Referer

reverland

Aug 9, 2014

拿浏览器来……

比如https://github.com/scrapinghub/splash

nomaka

Aug 13, 2014

楼主试试 https://pypi.python.org/pypi/selenium ？