Home
Sign Up
Sign In
V2EX
›
问与答
有没有新闻通用爬虫?可以智能识别爬虫和标题?
stcasshern
·
Jul 10, 2017
· 2995 views
This topic created in 3408 days ago, the information mentioned may be changed or developed.
看了下一些收费 api 或者云爬虫可以做到提交网址返回正文,想请教下是个什么思路。
自己写爬虫都是针对一个站点定制 xpath 或者 css selector 规则,那这种通用的是怎么解决的呢?
云爬虫
通用
xpath
selector
3 replies
•
2017-07-10 16:03:57 +08:00
bearsiji
Jul 10, 2017
1
1
https://github.com/codelucas/newspaper
可以看下这个项目
bearsiji
Jul 10, 2017
1
2
https://github.com/GravityLabs/goose
还有这个 你的目的就是内容提取,常见的方法是 HTML 节点结构打分
stcasshern
OP
Jul 10, 2017
3
@
bearsiji
谢谢。学习一个
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
1089 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms ·
UTC 16:26
·
PVG 00:26
·
LAX 08:26
·
JFK 11:26
♥ Do have faith in what you're doing.
❯