Air_Mu
V2EX  ›  问与答

如果想要把同一个网站的8万张左右图片下载下来,有什么好的解决方案么?

  •  
  •   Air_Mu · Aug 20, 2012 · 3544 views
    This topic created in 5202 days ago, the information mentioned may be changed or developed.
    学习正则的过程中,采集了下某国内ACG网站的图库。大概一共会有6-8万个地址,图片有不少是5K*4K分辨率。平均500K-4M一张。估算是100G吧。

    首先我是没兴趣下载这些图片的,收集这种把20MB的原图压成2MB的JPG就是侮辱自己硬盘。不过抱着学习研究的目的问下如果要下载这种类型的有什么软件方案?

    首先要支持抵制导入,一行一个地址。
    然后估计这种网站服务器会有保护措施的吧,短时间同一地址大量请求会被BAN掉的吧?
    9 replies  •  1970-01-01 08:00:00 +08:00
    binux
    binux
    Aug 20, 2012❤️1
    1
    wget
    013231
    013231
    Aug 20, 2012❤️1
    2
    wget全站抓取或自己寫爬蟲吧. wget可以設置間隔, 爬蟲自然也可以.
    地址導入wget就可以, -i(--input-file)參數.
    Air_Mu
    Air_Mu
    OP
    Aug 20, 2012
    3
    谢二位,我去研究一下wget
    depress
    depress
    Aug 20, 2012
    4
    /t/40484 这个帖或许能帮你。我WIN系统在用Teleport Pro :)
    hu437
    hu437
    Aug 22, 2012
    5
    java程序员表示使用JSOUP这个库,写一个几十行的小程序,让计算机慢慢爬了
    paloalto
    paloalto
    Aug 22, 2012
    6
    前段时间也想批量下一个网站的图片 http://v2ex.com/t/42469#reply18 一开始是先写一个Python脚本去自动抓取,后来发现firefox里的downthemall插件可以批量下载文件名有一定规律的图片,于是就直接用插件下了。一共下了5500多张。

    不过看楼主的需求,我的那个情况似乎不太适合你,还是自己写脚本吧。
    csx163
    csx163
    Aug 22, 2012
    7
    ACG?求列表~
    binux
    binux
    Aug 22, 2012
    8
    @csx163 我猜是178的图库
    aisk
    aisk
    Aug 22, 2012
    9
    求图库啊
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4599 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 59ms · UTC 06:47 · PVG 14:47 · LAX 22:47 · JFK 01:47
    ♥ Do have faith in what you're doing.