• 请不要在回答技术问题时复制粘贴 AI 生成的内容
polandeme
V2EX  ›  程序员

请教一个关于淘宝商品详情实时获取问题?

  •  
  •   polandeme ·
    polandeme · Mar 23, 2017 · 2981 views
    This topic created in 3530 days ago, the information mentioned may be changed or developed.

    如题,类似于什么值得买,豆瓣东西等商品聚合类网站,提交一个商品 url 就可以拿到商品详情信息。

    想问一下他们是爬虫还是内部公司之间的合作?

    如果是爬虫,必须渲染 js 才可以拿到部分数据,但是我用 phantomjs 去做渲染,可以拿到数据,但是至少 10s,是不是有更好的解决方案?

    PS: 淘宝原先的 API 已经关闭了

    5 replies  •  2017-03-24 14:26:51 +08:00
    knightdf
    knightdf
    Mar 23, 2017
    1
    想要快只能去 hack 接口了把
    waczx
    waczx
    Mar 24, 2017
    2
    淘宝和京东可以在 jsonp 里面取一些商品信息。
    cncqw
    cncqw
    Mar 24, 2017
    3
    目测用的是爬虫,定时抓取,然后提交 URL 后从自己数据库查,不然不可能那么快。
    polandeme
    polandeme
    OP
    Mar 24, 2017
    4
    @waczx jsonp 应该做了一些反爬虫,发现模拟请求也老是得不到,请指教一二,谢谢
    polandeme
    polandeme
    OP
    Mar 24, 2017
    5
    @cncqw 这么多商品信息,这也太大了吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1479 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 16:38 · PVG 00:38 · LAX 08:38 · JFK 11:38
    ♥ Do have faith in what you're doing.