qwertty01
V2EX  ›  问与答

Twitter 反爬措施很牛逼啊,有没有大佬指点一下?

  •  1
     
  •   qwertty01 · Oct 10, 2018 · 5552 views
    This topic created in 2951 days ago, the information mentioned may be changed or developed.

    主要是想获取某个推主的全部推文。

    如果只爬推文限制几百条的样子。

    爬推文和回复没有限制,但是爬虫很容易被检测出来,该设置的都设置了 UA,header,cookie

    有没有大佬指点一下?

    比如这个 https://twitter.com/i/profiles/show/realDonaldTrump/timeline/with_replies?include_available_features=1&include_entities=1&max_position=1049635559000469504&reset_error_state=false

    2 replies  •  2018-10-10 15:03:26 +08:00
    whileFalse
    whileFalse
    Oct 10, 2018
    1
    twitter 有 api 啊。
    qwertty01
    qwertty01
    OP
    Oct 10, 2018
    2
    @whileFalse twitter api 有限制啊 获取历史推文是企业级的 api
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1587 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 13:59 · PVG 21:59 · LAX 05:59 · JFK 08:59
    ♥ Do have faith in what you're doing.