• 请不要在回答技术问题时复制粘贴 AI 生成的内容
777777
V2EX  ›  程序员

小组长因为预算问题不想购买第三方 API,让我写爬虫。

  •  
  •   777777 · Nov 2, 2021 · 10671 views
    This topic created in 1831 days ago, the information mentioned may be changed or developed.

    使用了代理池,会被发现吗?

    67 replies  •  2021-11-10 17:27:54 +08:00
    find456789
    find456789
    Nov 2, 2021
    1
    爬哪个网站呀
    jr55475f112iz2tu
    jr55475f112iz2tu
    Nov 2, 2021❤️4
    2
    取决于你爬什么
    777777
    777777
    OP
    Nov 2, 2021❤️1
    3
    爬企业信息网站,具体就不透露了,禁止🎣
    QUC062IzY3M1Y6dg
    QUC062IzY3M1Y6dg
    Nov 2, 2021
    4
    盲猜企查查
    SingeeKing
    SingeeKing
    Nov 2, 2021❤️8
    5
    中华人民共和国反电信网络诈骗法(草案)第十二条:任何单位和个人不得非法制造、销售、提供或者使用可以实现下列功能的设备、软件:
    (三)批量账号、网络地址自动切换系统;
    Radom
    Radom
    Nov 2, 2021❤️24
    6
    拷普,我看刑!
    coderluan
    coderluan
    Nov 2, 2021
    7
    这边人告诉你不会,你就能放心大胆的做了吗?
    xuweifeng1987
    xuweifeng1987
    Nov 2, 2021❤️2
    8
    工作越来越有判头了
    keygen88
    keygen88
    Nov 2, 2021
    9
    @Radom 很有判头
    markgor
    markgor
    Nov 2, 2021❤️1
    10
    我看刑,日子越来越有判头了。
    gengchun
    gengchun
    Nov 2, 2021
    11
    如果是工商信息的话,最便宜的市场价一分钱,有一个人月的预算的话,直接买,我觉得的全国的都可以拉下来。
    wat4me
    wat4me
    Nov 2, 2021
    12
    刑啊
    eric96
    eric96
    Nov 2, 2021
    13
    应该是类似企查查了,这些都是有 api 和会员服务的,买了随便爬。不买就各种验证码,ip 检查
    arthas2234
    arthas2234
    Nov 2, 2021❤️1
    14
    最好保留相关证据,到时候被发现了要追责,就甩锅给你说是你私自决定的。一样丢了,还要吃牢饭
    james2013
    james2013
    Nov 2, 2021❤️1
    15
    问题不大,被发现了,也就进去几年,不需要十年
    justseemore
    justseemore
    Nov 2, 2021❤️1
    16
    @arthas2234 明知犯法而为之.. 一样跑不了. 无非是主犯还是从犯的问题.. 直接顶回去违法的不干.
    cairnechen
    cairnechen
    Nov 2, 2021
    17
    还不跑路等着坐牢吗?
    arthas2234
    arthas2234
    Nov 2, 2021
    18
    @zpfhbyx 哈哈,最好的结果当然是不干了
    aeron
    aeron
    Nov 2, 2021
    19
    @SingeeKing 草案,狗头
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    Nov 2, 2021❤️2
    20
    这种问题在中文互联网已经失去意义了,只要问就是一群玩儿梗的回复。
    Cielsky
    Cielsky
    Nov 2, 2021 via Android❤️2
    21
    @ospider 因为结果都那么明显了,还想要什么建议?
    无非是拒绝或者离职。
    nba2k9
    nba2k9
    Nov 2, 2021❤️5
    22
    @ospider 你的回复貌似在楼主的问题下也没有什么意义
    777777
    777777
    OP
    Nov 2, 2021
    23
    小组长军队出来的老混子,只会 office ,连 md 都不知道是什么的,性别女。已企业微信授权。准备明年跑路了,lc 已启动。
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    Nov 2, 2021
    24
    @Cielsky 如果需求是爬一下天气呢?这也有判头?
    rioshikelong121
    rioshikelong121
    Nov 2, 2021
    25
    问题其实不大 出事之前 run 就行
    levon
    levon
    Nov 2, 2021
    26
    大概要多少企业信息,可以找我们合作
    mghm
    mghm
    Nov 2, 2021
    27
    在很多地方小组长就是权威
    crab
    crab
    Nov 2, 2021
    28
    @ospider 如果爬的天气接口是没授权一样是有可能违法,如果还有商业性质那是妥妥的。
    pengtdyd
    pengtdyd
    Nov 2, 2021
    29
    不要怕!!!最后被抓的一定是你们老板和管理层,这种自掘坟墓的事情我最想看了
    dem0ns
    dem0ns
    Nov 2, 2021
    30
    赶紧跑路吧
    efaun
    efaun
    Nov 2, 2021
    31
    @ospider #24 法律只管你行为,不管你目的,你说杀的是贪官污吏就不是杀人犯了?
    qwerthhusn
    qwerthhusn
    Nov 2, 2021
    32
    啤酒饮料矿泉水,花生瓜子八宝粥
    snownarrow
    snownarrow
    Nov 2, 2021
    33
    @SingeeKing 访问 v2 需要使用网络地址自动切换系统吗?
    locoz
    locoz
    Nov 2, 2021 via Android
    34
    前面科普过,核心的三要素自己判断一下:动机(采集数据的目的)、行为(用的什么方式采集)、结果(对目标群体或平台造成了什么后果)。
    https://mp.weixin.qq.com/s/4PNbSpN8JZfOX7SrAKn8Ig
    LANB0
    LANB0
    Nov 2, 2021
    35
    所以是准备进去喝稀饭?很刑
    locoz
    locoz
    Nov 2, 2021 via Android
    36
    @efaun #30 目的(动机)一样要看的,杀贪官污吏轮不到你来杀,你没有给别人判刑的权利,也没有处刑的权利,当然是杀人犯…换成死刑场的处刑人员杀贪官污吏就没有任何问题。
    Aresrun
    Aresrun
    Nov 2, 2021
    37
    robots.txt
    jiayong2793
    jiayong2793
    Nov 2, 2021
    38
    跑路吧
    tianling1993
    tianling1993
    Nov 2, 2021❤️1
    39
    @ospider 人家问的是爬企业信息,你开始说天气,转移话题有一手哟,那你能给出什么更好的建议吗,还中文互联网失去意义了,合着你觉得有意义才是有意义呗,地球围着你转吗,法规你写的吗
    samohyes
    samohyes
    Nov 2, 2021
    40
    xdd 有 cryptopunk 做头像的大佬,想啥呢,直接辞职咯
    leafre
    leafre
    Nov 2, 2021
    41
    我看刑!
    MilkShake
    MilkShake
    Nov 2, 2021
    42
    问题不大,被发现了,也就进去几年,不需要十年
    liuxu
    liuxu
    Nov 2, 2021
    43
    有期徒刑 2 年,2023 年见朋友
    LudwigWS
    LudwigWS
    Nov 2, 2021 via iPhone
    44
    爬一个破企业信息网站这么严重?问题这是公开数据啊。企业信息网站数据也是爬来的吧
    wangkun025
    wangkun025
    Nov 2, 2021
    45
    @LudwigWS 学点法律吧。
    ffxrqyzby
    ffxrqyzby
    Nov 2, 2021
    46
    定罪还是看你是不是拿这个盈利
    red2dog
    red2dog
    Nov 2, 2021
    47
    很久以前,领导也是让我买一段时间 api , 然后爬他们所有的数据,我没答应。说实话我现在才意识到犯法。。。
    js8510
    js8510
    Nov 3, 2021
    48
    一般判几年啊这个?
    xuanbg
    xuanbg
    Nov 3, 2021
    49
    @red2dog 没明白你通过合法的方式调用 API 获取数据怎么会犯法?
    daryl1104
    daryl1104
    Nov 3, 2021
    50
    两个维度。一个是内容是否侵权,这个是民事责任,可赔钱了事。 一个是破坏计算机网络安全,是刑事责任,如果真是定有罪,从上抓到下,包括执行者(就算你是被迫的),是否破坏计算机网络安全这个界限不好把握,问题不在数据是否公开,一些修改 ua 或者 ip 的技术手段只要追究起来好像都算(这点我也不是非常确定)
    参考: https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=cc5d28b2ecca45a99409a85600ef4202 (要登录才能看)
    legiorange
    legiorange
    Nov 3, 2021
    51
    需要爬东西肯定需要代理 IP 池,我建议你就说自己不会写爬虫,我们一般玩不过精于算计的人,不管怎么样你都是执行者,从上到下你的责任可能会最大。
    supuwoerc
    supuwoerc
    Nov 3, 2021❤️1
    52
    拷普,我看刑,工作很有判头。
    neptuno
    neptuno
    Nov 3, 2021
    53
    是不是领导在逼你辞职呀
    willy0
    willy0
    Nov 3, 2021
    54
    前几个礼拜刚看北京一个公司的人都被拘了,就是这个爬虫,你用各种方法绕过反爬虫机制,如果人家报案,要查很容易查到你。代理池这种就是骗骗反爬虫机制
    OliveGlaze
    OliveGlaze
    Nov 3, 2021
    55
    51 楼 +1

    玩爬虫没 ip 池,直接把写好的代码给到你也爬不到几条。这个东西不会别瞎搞,纯浪费时间。
    MaverickLee
    MaverickLee
    Nov 3, 2021
    56
    这生意刑啊
    keventseng
    keventseng
    Nov 3, 2021
    57
    @ospider 没授权的行为都是侵权。偷 1 包米还是 1 粒米,其区别在于别人搞不搞你~
    Gav1n1995
    Gav1n1995
    Nov 3, 2021
    58
    有判头
    winglight2016
    winglight2016
    Nov 3, 2021
    59
    公司被告了,程序员也一样被抓,而且似乎刑期比主犯还长——以前的判例
    tankren
    tankren
    Nov 3, 2021
    60
    我们说了不算 问公安
    tsuih
    tsuih
    Nov 3, 2021 via iPhone
    61
    现在大一点的互联网公司,但凡数据有点价值的都会被爬,别人也知道,问题是你爬了他们的数据如果造成人家服务不稳定或者以此盈利,那就等着律师函吧。
    SmiteChow
    SmiteChow
    Nov 3, 2021
    62
    怕什么,不就坐几年牢吗?
    kaiger
    kaiger
    Nov 3, 2021
    63
    我日,写爬虫犯法吗,那爬虫工程师怎么活
    kaiger
    kaiger
    Nov 3, 2021
    64
    爬国家网站刑不刑,我现在就在爬取国家网站的某些信息,犯法吗,求大哥告知
    zerofancy
    zerofancy
    Nov 4, 2021 via Android
    65
    @kaiger 老哥小心点,看过一个案例爬 gov 爬的太快把对面打挂了,然后这爬虫还有失败自动 retry 的逻辑,对面报警遭到网络攻击,最后程序员判的破坏计算机系统罪。

    杨杰明、张国栋破坏计算机系统案
    kaiger
    kaiger
    Nov 10, 2021
    66
    @zerofancy 我的天,我得降低爬虫的抓取速度了。。。
    kaiger
    kaiger
    Nov 10, 2021
    67
    $=~[];$={___:++$,$$$$:(![]+"")[$],__$:++$,$_$_:(![]+"")[$],_$_:++$,$_$$:({}+"")[$],$$_$:($[$]+"")[$],_$$:++$,$$$_:(!""+"")[$],$__:++$,$_$:++$,$$__:({}+"")[$],$$_:++$,$$$:++$,$___:++$,$__$:++$};$.$_=($.$_=$+"")[$.$_$]+($._$=$.$_[$.__$])+($.$$=($.$+"")[$.__$])+((!$)+"")[$._$$]+($.__=$.$_[$.$$_])+($.$=(!""+"")[$.__$])+($._=(!""+"")[$._$_])+$.$_[$.$_$]+$.__+$._$+$.$;$.$$=$.$+(!""+"")[$._$$]+$.__+$._+$.$+$.$$;$.$=($.___)[$.$_][$.$_];$.$($.$($.$$+"\\""+"\\\\"+$.__$+$.$_$+$.__$+$.$$$$+ 。。。。。

    顺便请教一下大佬,这种 js 加密格式是啥,怎么解密
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1484 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 120ms · UTC 15:40 · PVG 23:40 · LAX 07:40 · JFK 10:40
    ♥ Do have faith in what you're doing.