• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hluo7054
V2EX  ›  程序员

又创造了一个轮子, C#版本的搜狗微信公众号抓取

  •  
  •   hluo7054 · Sep 13, 2017 · 5427 views
    This topic created in 3343 days ago, the information mentioned may be changed or developed.

    网上看到又不少类似的轮子,但是大多都是 Pyhton,于是撸了一个 C#版本的WeGouSharp (即 Wechat+ Sogou + Csharp)

    暂时采用 HtmlAgility 解析 html

    目前已经完成了基本部分

    但是仍然存在一些小骨头没啃,比如有个验证码的没能重现(望指点)

    还有自动打码,等等,可能会采用 OpenCv/EmguCV 识别验证码,不知道可行性怎样

    现在公开请各位大佬批评,点星或者来叉

    项目地址

    16 replies  •  2017-09-15 19:19:13 +08:00
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    Sep 13, 2017
    1
    不可行, 搜狗的验证码很变态的
    WeaPoon
    WeaPoon
    Sep 13, 2017
    2
    加油~~哈!
    justtery
    justtery
    Sep 13, 2017 via Android
    3
    辛苦了,用 c 艹写爬虫。写个简单的页面抓取都需要写超级多行。并不想打消楼主的积极性
    lyhiving
    lyhiving
    Sep 13, 2017 via Android
    4
    可以过得了验证码这一关算我输
    levon
    levon
    Sep 13, 2017
    5
    我解析 html 用 csquery,虽然不更新,但感觉超级简单。就跟使用 jquery 一样去获取元素
    Choyes
    Choyes
    Sep 13, 2017
    6
    之前爬过搜狗的微信公众号文章,不过我并没有去处理验证码,而是通过代理来绕过。
    wqxuan
    wqxuan
    Sep 13, 2017 via iPhone
    7
    @Choyes 请问下用的哪家代理?最近试用了一家的入门级公开代理(付费),效果很差。
    yangyaofei
    yangyaofei
    Sep 14, 2017 via Android
    8
    话说微信公众号的评论怎么抓取呢?
    Choyes
    Choyes
    Sep 14, 2017❤️1
    9
    @wqxuan 我是去抓取免费的代理,然后自己维护一个代理 ip 池.参照这边 https://github.com/jhao104/proxy_pool 用 c#做了个简单的代理 ip 池
    missdeer
    missdeer
    Sep 14, 2017
    10
    过不了验证码关就没什么用
    naomhan
    naomhan
    Sep 14, 2017
    11
    验证码我们公司有人用 tensorflow 训练了个模型 好像识别率还可以
    VShawn
    VShawn
    Sep 14, 2017
    12
    为什么要爬微信公众号?
    ljcarsenal
    ljcarsenal
    Sep 14, 2017
    13
    @VShawn 我也有疑问 不过最先做这个的 传送门 的确是火起来了
    finalsatan
    finalsatan
    Sep 14, 2017
    14
    @naomhan 有训练数据集可以分享下吗,最近也在做这个,数据量不够,自己生成的验证码总感觉和搜狗的不太一样。谢谢了先。
    naomhan
    naomhan
    Sep 14, 2017❤️1
    15
    @finalsatan #14 不断请求验证码那个链接 就有了
    hluo7054
    hluo7054
    OP
    Sep 15, 2017
    16
    @ljcarsenal 发现传送门貌似已经一个多月没更新了,所以才发了这个出来
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4125 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 01:51 · PVG 09:51 · LAX 17:51 · JFK 20:51
    ♥ Do have faith in what you're doing.