• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sjmcefc2
V2EX  ›  程序员

请教做一个定向的搜索引擎都有什么开源的框架可以使用呢?

  •  
  •   sjmcefc2 · Jan 3, 2022 · 2095 views
    This topic created in 1767 days ago, the information mentioned may be changed or developed.

    想做一个定向的搜索引擎,针对某一些网站发布的信息,这样有开源的吗?

    6 replies  •  2022-01-06 17:57:04 +08:00
    sjmcefc2
    sjmcefc2
    OP
    Jan 3, 2022
    1
    或者能够搜索 pdf 文件内的内容的有吗
    2i2Re2PLMaDnghL
    2i2Re2PLMaDnghL
    Jan 3, 2022
    2
    要搜索 pdf 文件有 docfetcher
    定向搜索引擎也就是搜索引擎,爬完了丢 ES 罢(
    hs0000t
    hs0000t
    Jan 4, 2022 via Android
    3
    太模糊了,建议具体说说使用场景,人数,频率等
    jr55475f112iz2tu
    jr55475f112iz2tu
    Jan 4, 2022
    4
    定向,无非就两种方式
    1. 爬虫+ES ,上面有人提到了,不过有风险
    2. RSS ,找个地方存
    sjmcefc2
    sjmcefc2
    OP
    Jan 5, 2022
    5
    使用人数:5 人以内;
    频率:每天
    场景:搜索固定几个网站的内容。能有个集中的入口

    比如,能够把一个关键词就覆盖几个网站;百度是有搜索功能,不过搜出来的大部分不是想要的东西
    wingor2015
    wingor2015
    Jan 6, 2022
    6
    用 pdfminer 提取过 PDF ,但是效果有些好有些差,pdf 是不能保障文件里的内容都能被正确提起出来的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1412 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 19:06 · PVG 03:06 · LAX 11:06 · JFK 14:06
    ♥ Do have faith in what you're doing.