舍弃了 Selenium ，目前用的是 playwright ，大家都在用什么？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 707 days ago, the information mentioned may be changed or developed.
11 replies • 2024-12-03 21:31:08 +08:00
 |
spritecnDec 2, 2024
1
requests + PyQuery,无头浏览器的话都差不多
|
 |
onll42yDec 2, 2024
2
requests + parsel
|
 |
zeusho871Dec 2, 2024
3
推荐用 requests 的，肯定不好使，那玩意儿不支持异步，用 httpx 可以 100%兼容，然后不能 tls 指纹，有的网站会检测 tls 指纹，找那种带 tls 指纹的请求库，比如 curl_cffi 啥的。如果不是协议爬虫，用浏览器爬的话，推荐 drissonpage 。用 selenium/playwright 有几个参数会被检测到，虽然也能做到，但是需要额外的代码。
|
 |
4
不要滥用「框架」这个词。使用框架的时候，主循环在框架里，你只需要写回调或者 handler ，使用库的时候，主循环在你自己代码里，显然 playwright 是一个库。
|
2 |
JaufeyDec 2, 2024 via iPhone
5
偏题。node 的 crawlee 好用，算是框架。
|
 |
duleDec 2, 2024
6
你说的这两只能说是工具库，自动化浏览器跟爬虫框架根本搭不上边，python 知名的基本就这两个：scrapy 、pyspider
|
 |
HMYang33Dec 2, 2024
7
https://feapder.com/
一个函数下发任务，一个函数处理结果。自动多线程 |
 |
ioriluDec 2, 2024
8
现在有啥自动生成提取规则的库吗
我上次也想过用 ai 帮忙写点规则, 要能自动化就好了 |
 |
python30Dec 3, 2024
11
scrapy 啊。一直在用 scrapy.超好用
|
Select Language