搭建一个技术类的垂直搜索引擎有什么方案？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 3506 days ago, the information mentioned may be changed or developed.

呃如题。

有哪些开源方案可以组合起来实现，包含爬虫存储检索排名算法。
只定向收录一些网站即可。

6 replies • 2017-04-03 11:17:22 +08:00

ss098

Mar 31, 2017

爬虫得自己写，搜索可以用 ElasticSearch 。

dreampuf

Mar 31, 2017

自定义爬虫 + ES
规模几十 T 不是问题

murmur

Mar 31, 2017

垂直搜索的问题不是你底层抗不扛得住是你抓别人数据能抓多少
你能想到的可以聚合的内容基本都有反爬虫设计

gwind

Mar 31, 2017

你需要的是:

1. scrapy 抓
2. elasticsearch 搜

jackroyal

Apr 1, 2017 via Android

最简单的， google 自定义搜索，直接限定域名，哈哈

AsaDong

Apr 3, 2017

@jackroyal 自己用倒是可以