V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  YUX  ›  全部回复第 48 页 / 共 82 页
回复总数  1634
1 ... 44  45  46  47  48  49  50  51  52  53 ... 82  
❮ ❯
2016 年 6 月 13 日
回复了 practicer 创建的主题 › Python › python 多线程爬虫问题
@JhOOOn 还有知乎 好像都想爬知乎 也不知道爬完了做什么 好像只有一个看知乎还有点意思
2016 年 6 月 13 日
回复了 JiaFeiX 创建的主题 › Swift › Swift 和 iOS 快速入门公益免费课程 6 月线下班开课啦
希望每个月都有一次ꉂ ೭(˵¯̴͒ꇴ¯̴͒˵)౨”
2016 年 6 月 13 日
回复了 practicer 创建的主题 › Python › python 多线程爬虫问题
@practicer requests futures 有 ThreadPoolExecutor 和 ProcessPoolExecutot 两个用法
用 max worker 直接控制频率多好
2016 年 6 月 13 日
回复了 ericls 创建的主题 › 分享创造 › 初学 Elixir Phoenix 和 React, 写了个简陋的 Mailgun Web UI
@ericls 我还在用 flux
2016 年 6 月 13 日
回复了 nonfu 创建的主题 › PHP › Laravel 5 岁了, Happy Birthday!
我用 python
2016 年 6 月 13 日
回复了 ericls 创建的主题 › 分享创造 › 初学 Elixir Phoenix 和 React, 写了个简陋的 Mailgun Web UI
我也在学 React 也用 material ui
2016 年 6 月 13 日
回复了 practicer 创建的主题 › Python › python 多线程爬虫问题
Python3.5 运行通过 需要 BeautifulSoup 和 requests_futures
max_workers=20 这里根据你的需要你自己改一下
我只写到了 data = fetchBookInfo(books)这一步,怎么弄这些个数据就看你了

其实有用的只有一句话 用 requests_futures
https://github.com/ross/requests-futures
2016 年 6 月 13 日
回复了 practicer 创建的主题 › Python › python 多线程爬虫问题
from concurrent.futures import ThreadPoolExecutor
from requests_futures.sessions import FuturesSession
session = FuturesSession(executor=ThreadPoolExecutor(max_workers=20))
import requests
from bs4 import BeautifulSoup
import re

def fetchPages(first_page):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
content = requests.get(first_page, headers=headers).text
soup = BeautifulSoup(content, "html.parser")
a_tags_final = soup.find("div", { "class" : "paginator" }).find_all("a")[-2].get("href")
page_max = int(re.findall("start=(.*)&",a_tags_final)[0])
pages = []
for k in range(0,page_max+20,20):
pages.append(first_page+"?start="+str(k))
return pages


def fetchBooks(pages):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
books = []
for page in pages:
books.append(session.get(page, headers = headers))
def get_books_url(book):
soup = BeautifulSoup(book, "html.parser")
book_list = list(map(lambda li: li.find("div", { "class" : "info" }).find("h2").find("a").get("href"), soup.find_all("li", { "class" : "subject-item" })))
return book_list
books = list(map(lambda book: get_books_url(book.result().text), books))
books_url = []
for book in books:
books_url += book
return books_url



def fetchBookInfo(books):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
books_info = []
for book in books:
books_info.append(session.get(book, headers = headers))
def get_books_data(book_info):
soup = BeautifulSoup(book_info, "html.parser")
info = soup.find("div", { "id" : "info" })
return info
book_data = list(map(lambda book: get_books_data(book.result().text), books_info))
return book_data



if __name__ == '__main__':
pages = fetchPages("https://book.douban.com/tag/%E7%BC%96%E7%A8%8B")
books = fetchBooks(pages)
data = fetchBookInfo(books)
2016 年 6 月 13 日
回复了 Senevan 创建的主题 › JavaScript › 做个调查,大家写 js 写分号么
Linter 让写就写
2016 年 6 月 13 日
回复了 xujialiang 创建的主题 › 云计算 › 大家美团云有遇到问题吗?
@freaks 是的
@freaks 不好意思啊 之前更新了一下参数 详情见 GitHub 的 README
你给出的这个 iframe 对应应该为如下地址:
https://music.daoapp.io/iframe?album=16953&qssl=1&autoplay=1&max_width=500px&narrow=0

以后不会这样子咯(/ω\)
或者注册个企业号 接口比测试号多
2016 年 6 月 11 日
回复了 daimoon 创建的主题 › 前端开发 › 说说我为什么选择了 vue 而不是 react
https://youtu.be/MhkGQAoc7bc?list=PLoYCgNOIyGABj2GQSlDRjgvXtqfDxKm5b
我在 React 挣扎了一个月 现在感觉自己终于有点进展了 推荐你这个 React 视频 入门很合适
2016 年 6 月 10 日
回复了 monkeycz 创建的主题 › 耳机 › 不知道各位的 QC20 有底噪么?
@T7 Sony MDR-EX750
2016 年 6 月 10 日
回复了 monkeycz 创建的主题 › 耳机 › 不知道各位的 QC20 有底噪么?
sony 的也有底噪
2016 年 6 月 10 日
回复了 ZGLHHH 创建的主题 › 分享创造 › 使用 Nginx+UWSGI 对 Twitter 媒体资源进行反代
2016 年 6 月 9 日
回复了 honmaple 创建的主题 › Python › 怎样选择 uid 生成策略?
2016 年 6 月 9 日
回复了 zhangneww 创建的主题 › 问与答 › 如何向自己的微信发送消息?有两个思路,都不太好
@ETiV 谢谢提醒 又有的玩了 感觉比测试号好玩
2016 年 6 月 8 日
回复了 zhangneww 创建的主题 › 问与答 › 如何向自己的微信发送消息?有两个思路,都不太好
@zhangneww 你用模板消息 客服接口都是有提醒的
1 ... 44  45  46  47  48  49  50  51  52  53 ... 82  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   903 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 22:13 · PVG 06:13 · LAX 14:13 · JFK 17:13
♥ Do have faith in what you're doing.