玩爬虫第二天，所以很多还不太懂，本来想用爬虫批量爬 QQ 空间用户头像、昵称、还有对应发表过的说说图片，什么都不懂，网上查了一下资料，发现流程大概是：获取页面 html —>正则匹配—>保存下载想要的信息。
然后就写了一个简单的代码测试一下能不能拿到主页的个人图片：
!/usr/bin/dev python3
-- coding:utf-8 --
import urllib.request
import re
import os
def find_imgs(page_url):
pattern = r'<img .? src="( http://(\w+.)+\w+\/.?)"'
html = url_open(page_url).decode('UTF-8')
print(html) # 这里打印出来才知道原来还没登录
img_addrs = re.findall(pattern,html)
print(img_addrs) # 一直都没东西
return img_addrs
def save_imgs(addrs):
# 循环保存就不写了
def download():
os.mkdir('image') #新建文件夹
currentpath = os.getcwd() #获取当前工作目录
url = 'http://user.qzone.qq.com/'
img_addrs = find_imgs(url) #获取图片地址
save_imgs(img_addrs) #保存图片
if __name_ == 'main':
download();
结果发现爬虫得先登录 QQ ，网上都是爬知乎、豆瓣、 V2EX 、淘宝....居多，希望给个例子参考或者推荐一些学习资源
Select Language