推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2730 days ago, the information mentioned may be changed or developed.
 |
niknikMay 21, 2019
1
怎么说
|
 |
jtworMay 21, 2019
2
https://www.cnblogs.com/fnng/p/3576154.html 看这个 我记得虫师还有个 Selenium 教程
|
 |
3
如果谢谢有用的话，还要印钞厂干嘛
|
45 |
alwMay 21, 2019
4
本人懒，谁给钱让我赖活着，感谢。
（要爬什么不说，给什么回报不说，就只想别人帮忙，还得去问你：请问你需要解决什么问题？） |
 |
5
没人写，我自己写了啊
|
 |
wqzjk393May 21, 2019
6
贴个 csdn 的。。我记得之前学异步协程时候拿来测试过，直接复制下来就能跑。。。（ https://blog.csdn.net/ns2250225/article/details/78448955 ）
|
 |
Ct5T66PVR1bW7b2zMay 21, 2019 via Android
7
不报个价，谁给你写
|
 |
AFutureMay 21, 2019 via iPhone
8
看到 5 楼的回复....楼主你倒是自己写啊
|
 |
9
自己写吧，用不到太多的技术难点吧。
|
 |
vinewMay 21, 2019 via iPhone
11
响应数据看着像 json，可以考虑用 shell 爬，然后用 jq 命令处理 json
|
 |
12
看到 5l 有点想笑
"你们不赶紧抢着写,要被我自己写了!" |
 |
cuebyteMay 21, 2019
13
我來幫你寫
|
|
14
为啥你们就不访问 url 看一下呢，伤心
|
 |
gjfMay 21, 2019 via Android
15
这也简单了吧？
|
 |
lithiumiiMay 21, 2019
16
最近流行以爬虫的名义开车？
|
 |
EytoyesMay 21, 2019
17
我怀疑你在开车，但我好像有证据
|
 |
cyssxtMay 21, 2019 via iPhone
18
技术车
|
 |
ctro15547May 21, 2019
19
不用怀疑 我感觉你就是在开车 已经保留证据
|
 |
ttimasdfMay 21, 2019
20
NSFW.
|
 |
excelooMay 21, 2019
21
艹，NSFW，能不开车吗？
|
|
22
简单的 uwp 程序已经写好，微软不给我上架，老是被拒，难过
|
 |
zdnypMay 21, 2019
23
铐起来
|
 |
zgcwkjMay 21, 2019
24
|
 |
opengpsMay 21, 2019
26
妹子图？似乎是在开车。。。
|
 |
ben1024May 21, 2019
27
开车？
|
 |
tikazyqMay 21, 2019
28
请关注爬虫平台 Crawlab
Github: tikazyq/crawlab |
|
kY8mbXW833Lu28xnMay 21, 2019 via Android
29
感谢楼主。
|
 |
registerrrMay 21, 2019
30
好奇这是个网站吗？网站首页是个啥？ http://adr.meizitu.net/是 403 https://www.meizitu.net/也打不开，只有 https://i2.meizitu.net/能打开，但是是个朦胧月色？ What ？？？
|
|
opengpsMay 21, 2019
31
|
|
ben1024May 21, 2019
32
```
<?php $jsons = file_get_contents('http://adr.meizitu.net/wp-json/wp/v2/posts?page=1&per_page=20'); $json_arr = json_decode($jsons, true); foreach ($json_arr as $value) { file_put_contents($value['id'].'.jpg', file_get_contents($value['thumb_src'])); } ``` |
 |
33
还好吧，点开看了一个，标题看着像车，假车那种。
MARK 一下，后面看搜集一点，说不定能用上呢。 |
|
ben1024May 21, 2019
34
|
 |
wq2016May 21, 2019
36
重新学也就 20 分钟，还跑来发个帖
|
 |
whitehackMay 21, 2019
37
开车吗？。。。。那我开个飞机吧 https://737max.tk
|
 |
38
我怀疑你在开车，而且我有证据
|
 |
zhtttyechoMay 21, 2019
39
偷偷收藏一下，应该没人发现吧
|
 |
sheetaMay 21, 2019
40
我怀疑你在开车，证据已经保存下来了
|
 |
foxyierMay 21, 2019
41
刚从旁边的车下来， 怎么稀里糊涂又上了另一辆
|
 |
brustMay 21, 2019
42
|
 |
CEBBCATMay 21, 2019 via Android
43
V2 转型煎蛋，下一帖就是 XX 女装
|
 |
HFX3389May 21, 2019
44
你好骚啊！
|
 |
R18May 21, 2019 via Android
45
兄弟你的口味真独特
|
 |
996icuMay 21, 2019
46
我怀疑你在开车
|
 |
miniwade514May 21, 2019
47
楼主搞好了能否贴个 github 地址，纯学习
|
 |
NorieMay 21, 2019 via Android
48
实锤开车
|
 |
yearlinyMay 21, 2019
49
这么良好的格式要什么爬虫，PowerShell 就搞定了。
```powershell $json=Invoke-WebRequest "http://adr.meizitu.net/wp-json/wp/v2/posts?page=1&per_page=20" -Method Get | ConvertFrom-Json $wc = New-Object System.Net.WebClient foreach ($i in $json) { $wc.DownloadFile($i.thumb_src, $json[0].thumb_src.LastIndexOf("/") + 1) } ``` |
 |
TMaizeMay 21, 2019 via Android
50
之前爬过，我有全站的数据😂
|
 |
jsnjfzMay 21, 2019
51
meizitu 的爬虫在 github 上搜下应该有
|
 |
dabaibaiMay 21, 2019
52
你头像 能快速写出爬虫啊..
golang 真香 |
 |
ddzyMay 21, 2019
53
都误会楼主了, 慢点, 晕车
|
 |
renmu123May 21, 2019 via Android
54
我网盘还有这网站 10g 的资源
|
 |
zoyopoMay 21, 2019
55
orz
|
 |
YAHIKO0May 21, 2019
56
妹子图不是早就没有了吗
|
 |
javen73May 21, 2019
57
？？？我怀疑你再开车，但我没有证据
|
 |
luckyjackMay 21, 2019
58
花式开车
|
 |
RLinuxMay 21, 2019
59
这个都这么多人回复 为啥我的没人理的~~~
|
 |
baiducomMay 21, 2019 via Android
60
咳咳咳 好吧ヽ( ￣д￣;)ノ
|
 |
Constellation39May 21, 2019
61
疑车有据
|
 |
0x4F5DA2May 21, 2019
62
我怀疑你在搞黄色，我好像也有证据
|
 |
iwishingMay 21, 2019
63
@yearliny
改了一下你的 $json=Invoke-WebRequest "http://adr.meizitu.net/wp-json/wp/v2/posts?page=1&per_page=20" -Method Get -UseBasicParsing| ConvertFrom-Json $wc = New-Object System.Net.WebClient foreach ($i in $json) { $output = split-path -Leaf $i.thumb_src $wc.DownloadFile($i.thumb_src,$output) } |
 |
zackwuMay 21, 2019
64
|
 |
AtukeyMay 21, 2019
65
极速车
|
 |
66
没意思（我好了）
|
 |
claysecMay 21, 2019 via iPhone
67
空手套白狼？（滑稽）
|
 |
xvb2421May 21, 2019
68
你的开车技术真的一流
|
 |
bld2018May 21, 2019
69
不是有成品发布过吗？
|
 |
canwexMay 21, 2019
70
import requests
import json url = 'https://adr.meizitu.net/wp-json/wp/v2/posts?page={}&per_page={}' per_page = 100 page = 52 print('##### spider start #####') while True: page += 1 json_data = requests.get(url.format(page, per_page)) data = json.loads(json_data.text) if not isinstance(data, list): print('##### spider end #####') break for item in data: thumb_src = item['thumb_src'] title = item['title'] + '.jpg' print('[+] downloading {} ...'.format(title)) meizi = requests.get(thumb_src) if meizi.status_code == 200: with open(title, 'wb') as f: f.write(meizi.content) |
 |
zzzzzzzzzpMay 21, 2019
72
[{"id":181372,"title":"辣妹温心怡情趣内衣 SM 诱惑 丰胸美臀身材热辣销魂","img_num":46,"thumb_src":"https:\/\/i2.meizitu.net\/2019\/04\/23a25.jpg","thumb_src_min":"https:\/\/i2.meizitu.net\/thumbs\/2019\/05\/181372_23a25_236.jpg"},{"id":180743,"title":"大胸女神恩一雪白玉兔诱人呈现 手捧巨乳再掀性感狂潮".....
|
 |
wpzeroMay 21, 2019 via iPhone
73
😄
|
 |
calebxMay 21, 2019
74
早说吗！
|
 |
tt0411May 21, 2019
75
要啥爬虫, 一行命令的事情
curl -s http://adr.meizitu.net/wp-json/wp/v2/posts?page=1&per_page=20 | jq -r '.[] | .thumb_src' | xargs -IX curl -s -O X |
 |
harviesMay 21, 2019
77
import json
import os import requests if __name__ == '__main__': flag = True page = 1 while flag: print("page:" + str(page)) list_html = requests.get("http://adr.meizitu.net/wp-json/wp/v2/posts?page=" + str(page) + "&per_page=20") content = list_html.content json_loads = json.loads(content) if isinstance(json_loads, list): print(json_loads) for list_item in json_loads: id_ = list_item['id'] title = list_item['title'] print(title) detail_html = requests.get("http://adr.meizitu.net/wp-json/wp/v2/i?id=" + str(id_)) detail_json = json.loads(detail_html.content) print(detail_json) str_content_ = detail_json['content'] content__split = str_content_.split(',') print('downloading ' + str(content__split)) for detail_item in content__split: print(detail_item) rfind = detail_item.rfind('/') file_name = detail_item[rfind + 1:len(detail_item)] folder_path = "./images/" + title + '/' if not os.path.exists(folder_path): os.makedirs(folder_path) requests_get = requests.get(detail_item) with open(folder_path + file_name, "wb") as f: f.write(requests_get.content) else: code_ = json_loads['code'] if code_ != 'rest_post_invalid_page_number': print(code_) else: print(code_ + " exit") flag = False page += 1 |
 |
laoli123May 21, 2019
79
图片地址都好爬 关键是 怎么样把地址全部快速爬下来 网站反爬很坑爹
|
 |
A1321AMay 22, 2019
80
车个屁，你们这也配叫车？笑出前列腺液....https://github.com/94se/94se---/wiki
|
 |
linvauxMay 22, 2019 via Android
81
果然特么十个爬虫九个都是妹子图
|
 |
qinghonMay 22, 2019 via Android
82
#80
is or contains sexually obscene content 举报了 |
 |
ningfengMay 22, 2019 via Android
83
确实不能算车，meizitu 连点都不漏，婴儿车吗？
|
|
jsnjfzMay 22, 2019
84
|
 |
lonelygoMay 22, 2019
86
从疑车无据到真车，你们城里人真会玩。
|
 |
EscYeziMay 22, 2019 via iPhone
87
meizitu 这个网站我爬过🌚不过是直接解析网页里的图片链接，似乎没有做任何反爬的措施🌚
|
 |
BBCCBBMay 22, 2019
88
我怀疑你在开车,但我又没有证据..
再者说了, 你怎么穿着品如的衣服??? |
 |
Pi7bo1May 22, 2019
89
诸君各显神通啊
|
 |
tony2lordMay 22, 2019
90
我怀疑你在开车，但是。。。我好了
|
 |
usingnamespaceMay 22, 2019 via iPhone
91
@onecode 有什么访问的 爬虫入门爬的网站
|
 |
codebear01May 22, 2019
92
看到 meizitu 我就知道一定不简单
|
 |
TimFireMay 22, 2019
93
不是怀疑在开车，是肯定在开车，特么我点开后直接被公司的上网行为管控给屏蔽了，我要举报楼主
坏笑：） |
 |
VariazioniMay 22, 2019
95
我怀疑你在开车。。而且我有证据。。\u8fa3\u59b9\u6e29\u5fc3\u6021\u60c5\u8da3\u5185\u8863SM\u8bf1\u60d1\u4e30\u80f8\u7f8e\u81c0\u8eab\u6750\u70ed\u8fa3\u9500\u9b42
|
 |
likakaMay 22, 2019
96
放我下车
|
 |
wildcat007May 22, 2019
97
本来以为是··
结果居然是·· 我怀疑你在开车，而且楼上很多人都有证据了！！！ |
 |
dfjslkjdfMay 22, 2019
98
lz 好人，lz 一生平安？
|
 |
aaronhuaMay 22, 2019
99
开车。。。倒不如直接点开看呢。
|
 |
thisisusernameMay 22, 2019
100
|
Select Language