https://neris.csrc.gov.cn/falvfagui/
需求：全量下载这里的法律法规
问题： 1.爬这个应该不会进牢子吧 O.o?
2.下载正文时需输入验证码（打码平台？）
3.下载链接 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/rdqsHeader/downloadType?secFutrsLawId=4f4da16da393400cb7a2c9c5498423a0 该链接单次有效 如果要爬是不是需要搞清楚 secFutrsLawId 的生成方式？
提前感谢各位 dalao
 |
4BVL25L90W260T9UJan 2, 2024
1
一共才 3000 多条，让实习生手工点不得了
|
 |
2
挑个简单的回答：
1. 公开数据，是可以获取的，但是要注意并发，爬挂了，就是你的锅了 |
 |
yumusbJan 2, 2024
3
|
|
4
又看了一下 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={title}.(pdf|docx)
|
 |
SmartTomJan 2, 2024
5
闲着没事写了个获取 downurl 的伪代码
```python import requests import json data = {'pageNo':1,'lawType':1} rep = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data) json_data = rep.json() total_num = json_data['pageUtil']['rowCount'] data1 = {'pageNo':1,'lawType':1,'pageSize':total_num} rep1 = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data1) json_data1 = rep1.json() json_list = json_data1['pageUtil']['pageList'] down_urls = [] for i in json_list: down_url = f'''https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={i['secFutrsLawName']}.pdf''' down_urls.append(down_url) down_urls ``` |
 |
hackerfansJan 2, 2024
6
没必要下载，本来就可以显示全文，直接爬取全文文本，生成 PDF 或 WORD
|
 |
PonysDadJan 2, 2024
10
年轻人，大胆一点。就这点胆识，何时才能吃上公粮？
|
|
SmartTomJan 2, 2024
11
@crazychang #8 这个应该是业务层面定义的枚举吧 1 代表着“最新法规” 2 代表着"行政执法文书"，对应的就是上面 tab 切换的两个菜单内容。(个人猜测)
|
|
12
@crazychang #8 接口地址 F12 就能看到
|
 |
14
@crazychang 抓包。
|
1
Select Language