推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
ifconfig
V2EX  ›  Python

这种情况下应该用 Python 哪个框架?

  •  
  •   ifconfig · Jun 2, 2016 · 5107 views
    This topic created in 3811 days ago, the information mentioned may be changed or developed.

    公司目前已有一个 PHP 项目,但是有些场景需要用到数据分析和爬虫,所以打算用 Python 的 Scrapy 做这一块。

    目前想到的办法是:通过 PHP 调用 Python 一些挖掘和分析的服务,然后返回数据给 PHP ,写进数据库。

    由于对 Python 这块领域是小白, Python 应该怎样封装成服务与 PHP 通信,用 Python 哪些框架封装成服务,都不太了解,忘各位给给意见,谢谢。

    21 replies  •  2016-06-06 12:49:47 +08:00
    cc7756789
    cc7756789
    Jun 2, 2016
    1
    不直接用 Python 写进数据库?还要返给 PHP ?
    ifconfig
    ifconfig
    OP
    Jun 2, 2016
    2
    @cc7756789 PHP 和 Python 都行,不是重点,主要想用 Python 封装成服务,而不是数据层。
    jinxueliu
    jinxueliu
    Jun 2, 2016
    3
    可以用 Python 做成 HTTP 服务,然后 PHP 来调用
    will0404
    will0404
    Jun 2, 2016❤️1
    4
    如果是 http 通讯, python 这端起个简单的 web 服务就可以了,比如用 flask
    ifconfig
    ifconfig
    OP
    Jun 2, 2016
    5
    @will0404 你的意思是在 flask 上搭个 Scrapy ,然后把它做成服务,供 PHP 调用吗? Python 刚学,下周就要用 flask ,不知能不能应付得来,或者有没有更轻量的框架介绍?
    9hills
    9hills
    Jun 2, 2016❤️1
    6
    @ifconfig flask 已经很轻量了,十几行就是一个 webserver
    JhZ7z587cYROBgVQ
    JhZ7z587cYROBgVQ
    Jun 2, 2016
    7
    要不用 thriftpy 写成 thrift 服务供调用方使用? php 应该也可以用 thrift 协议的
    ifconfig
    ifconfig
    OP
    Jun 2, 2016
    8
    @will0404 @9hills @jason0916 谢谢各位,回去恶补下这些知识
    pierre1994
    pierre1994
    Jun 2, 2016
    9
    django 和 rest-framework ,弄成 rest api 应该可以
    peter999
    peter999
    Jun 2, 2016
    10
    Scrapy 太恶心了,没法整合 gevent ,建议 django+requests
    Delbert
    Delbert
    Jun 2, 2016 via Android
    11
    @9hills web.py 才是最轻量的吧?虽然作者已经挂了。 Rip
    strider0505
    strider0505
    Jun 2, 2016
    12
    flask
    taozhijiangscu
    taozhijiangscu
    Jun 2, 2016
    13
    哈哈, Tornado 妥妥的。
    https://r.taozj.org
    orange
    orange
    Jun 2, 2016
    14
    flask
    hwsdien
    hwsdien
    Jun 2, 2016
    15
    上 thrift 用 rpc 接口
    YUX
    YUX
    Jun 2, 2016
    16
    requests+flask 正解
    但我觉得 python 爬完写到数据库 PHP 直接去数据库找不是更好?
    practicer
    practicer
    Jun 2, 2016
    17
    @cc7756789 我也觉得直接存数据库, php 读库最实用。另外想知道为什么必须用 python 来做爬虫, PHP 不是一样可以爬嘛?换 python scrapy 不会有成本吗?
    ifconfig
    ifconfig
    OP
    Jun 2, 2016
    18
    @YUX @practicer 之前用 PHP 的 simple html dom 库爬过,有些网站通过 ajax 的话加载爬不出一些数据,正好 CTO 闲的蛋疼自己学 Python 然后说可以解决这个问题,就交给我开发,麻蛋,手上一大堆工作,他倒是好
    Owenjia
    Owenjia
    Jun 2, 2016
    19
    @Delbert 最轻量的么? Pycnic 貌似 300 行不到。
    aljun
    aljun
    Jun 3, 2016 via iPhone
    20
    有时间的话⋯⋯可以自己基于 wsgi 实现个框架满足要求⋯⋯


    这里有个我写的轻量级的 API server⋯⋯基于 gevent 的 wsgi

    http://jolla.readthedocs.io/zh/latest/
    brucedone
    brucedone
    Jun 6, 2016
    21
    flask+ docker ,打包之后随时使用。
    @practicer 用 python 做爬虫没有其它的大原因,写的顺手,社区成熟,活跃,出问题都可以找的到答案, python 的 scrapy 框架也非常成熟。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   660 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 18:15 · PVG 02:15 · LAX 10:15 · JFK 13:15
    ♥ Do have faith in what you're doing.