Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
awolfly9
V2EX  ›  Python

[开源] 分布式抓取京东商城商品评价信息然后进行数据分析，附 iphone7 36 万条评价信息分析结果展示

  •  5      
  •   awolfly9 · May 10, 2017 · 7725 views
    This topic created in 3474 days ago, the information mentioned may be changed or developed.

    附上使用地址:
    体验地址：http://awolfly9.com/jd/
    体验示例地址：http://awolfly9.com/article/jd_comment_analysis

    github：https://github.com/awolfly9/jd_analysis

    快速、全面、高提炼度和高对比度的京东商城评价信息数据分析

    • 生成好评的词云，并且获取关键字
    • 生成中评的词云，并且获取关键字
    • 生成差评的词云，并且获取关键字
    • 分析购买该商品不同颜色的比例，生成柱状图
    • 分析购买该商品不同配置的比例，生成柱状图
    • 评论购买该商品的 24 小时占比
    • 分析该商品的销售数量和评论数量和时间的关系，生成时间则线图
    • 分析该商品不同省份购买的的比例，生成柱状图
    • 分析该商品不同渠道的销售比例，生成柱状图
    • 分析该商品 PC/移动购买比例
    • 分析京东购买该商品的用户等级分布
    • 分析购买商品后写下评论的时间

    京东 iPhone7 36 万条评价信息分析结果展示

    http://awolfly9.com/jd/full_result/3995645

    附上几张 iphone7 36 万条评价信息分析后的效果图

  • 柱状图
  • 生成
  • 商品
  • 分析
    43 replies  •  2017-05-18 11:43:40 +08:00
    jobtesting
    jobtesting
    May 10, 2017
    1
    可以啊。大数据收集起来可以做电商热度智能推荐呢，类似 SMZDM
    awolfly9
    awolfly9
    OP
    May 10, 2017
    2
    @jobtesting 目前项目已经开源，欢迎尝试使用
    moishalo
    moishalo
    May 10, 2017
    3
    顶起. 可以针对商品, 客户群, 销售等多种角度分析. 很不错啊.
    awolfly9
    awolfly9
    OP
    May 10, 2017
    4
    @moishalo 谢谢。欢迎使用，也欢迎加入微信群一起聊一聊
    hemoely
    hemoely
    May 10, 2017
    5
    牛逼的不行，我曾经有过这个想法但是实践能力比楼主差太多了
    cxyfreedom
    cxyfreedom
    May 10, 2017
    6
    感觉不错，可以参照这个去其他网站试试，有点点瑕疵可能就是柱状图数据多的话太密集了，基本看不清数值了
    lawyi
    lawyi
    May 10, 2017
    7
    666，感谢分享
    awolfly9
    awolfly9
    OP
    May 10, 2017
    8
    @hemoely 可以阅读我的代码


    @cxyfreedom 能否说说你测试的是那个商品。我优化一下。

    @lawyi 谢谢。
    cxyfreedom
    cxyfreedom
    May 10, 2017
    9
    @awolfly9 因为是随机选的一个，也是我的失误，没留下链接。图表的话就是那张不同配置购买数量关系图
    undeflife
    undeflife
    May 10, 2017
    10
    前三位回复的是不是楼主的朋友？ 口气实在很想常见的托....

    没有恶意哈 只是你给的链接等了半天出来的是 Server Error (500)
    awolfly9
    awolfly9
    OP
    May 10, 2017
    11
    @undeflife 我这里能访问的。我也想找拖，可是有必要？
    sunwei0325
    sunwei0325
    May 10, 2017
    12
    感谢楼主, 请问是否兼容 Python3? 还是因为某个组件强制要求 Python2 呢?
    fuxkcsdn
    fuxkcsdn
    May 10, 2017 via iPhone
    13
    支持代理池吗？
    awolfly9
    awolfly9
    OP
    May 10, 2017
    14
    @fuxkcsdn 支持的。代码里面可以设置是否使用代理。具体代理池可以参考我之前的开源项目： https://github.com/awolfly9/IPProxyTool
    awolfly9
    awolfly9
    OP
    May 10, 2017
    15
    @sunwei0325 目前只支持 python2。因为我的所有开发都是在 python2 上。以后会迁移到 python3.
    zzcchh
    zzcchh
    May 10, 2017
    16
    wordcloud 的输出实在太丑， 我用这个 https://www.jasondavies.com/wordcloud/看起来能清爽一些
    awolfly9
    awolfly9
    OP
    May 10, 2017
    17
    @zzcchh 谢谢推荐，我试试你说的这个
    banks0913
    banks0913
    May 10, 2017
    18
    楼主厉害了！争取今年之内我也能像楼主一样自己能捣鼓出类似的东西
    ixinshang
    ixinshang
    May 10, 2017 via Android
    19
    牛逼
    moose123
    moose123
    May 10, 2017
    20
    这些评价信息能做啥呢？
    nyanyh
    nyanyh
    May 10, 2017
    21
    之前在站里看过一个抓了 100W 内衣数据进行分析的帖子
    awolfly9
    awolfly9
    OP
    May 10, 2017
    22
    @nyanyh 我也看到过

    @moose123 可以对数据进行可视化分析
    awolfly9
    awolfly9
    OP
    May 10, 2017
    23
    @undeflife 忘记了问最重要的问题。 你访问是那个链接？用的是是浏览器打开，出现的错误是什么？
    rateltalk
    rateltalk
    May 10, 2017
    24
    @undeflife 首先你得翻墙。。
    vjnjc
    vjnjc
    May 10, 2017
    25
    好评！！！真好在买东西就试了一下，因为是三方卖家不是很放心，现在感觉至少没有刷评价的。给这个作者💯！！！
    billie
    billie
    May 10, 2017 via Android
    26
    牛逼，已收藏
    fisher335
    fisher335
    May 11, 2017 via iPhone
    27
    想办法和你的微信机器人结合一下
    ，可能效果更好
    likeshu
    likeshu
    May 11, 2017
    28
    感谢，已收藏。
    bozong
    bozong
    May 11, 2017
    29
    NB
    q397064399
    q397064399
    May 11, 2017
    30
    💯
    oop99
    oop99
    May 11, 2017
    31
    666, NB, mark
    show8salary
    show8salary
    May 11, 2017
    32
    碉堡了§
    undeflife
    undeflife
    May 11, 2017❤️1
    33
    @awolfly9 chrome 呀 大概过了一会儿之后再开 就可以开了 当时不管翻墙不翻墙都出不来 黑体的几个大字 Server Error (500)
    awolfly9
    awolfly9
    OP
    May 11, 2017
    34
    @fisher335 好想法。如果你又可行的想法请告诉我。
    awolfly9
    awolfly9
    OP
    May 11, 2017
    35
    @undeflife 好的。谢谢你。我再测试测试。
    lawyi
    lawyi
    May 11, 2017
    36
    报错 表不存在 是创建表失败了嘛。。。
    awolfly9
    awolfly9
    OP
    May 11, 2017
    37
    @lawyi 可能是数据库版本问题，昨天一个哥们说过。你关注下日志。日志在 log/id.log。
    lawyi
    lawyi
    May 11, 2017
    38
    @awolfly9 感谢，看日志 找到原因了，是我的数据库版本太低了
    awolfly9
    awolfly9
    OP
    May 11, 2017
    39
    @lawyi 好的。运行愉快
    awolfly9
    awolfly9
    OP
    May 12, 2017
    40
    @lawyi 你在生成图表的时候没有遇到字体问题吗？
    lawyi
    lawyi
    May 12, 2017
    41
    @awolfly9 有遇到
    awolfly9
    awolfly9
    OP
    May 12, 2017
    42
    @lawyi 能不能接个图，或者说一下你怎么解决的。我忘记写在 README 中了。
    Jessss
    Jessss
    May 18, 2017
    43
    好厉害，先收藏了，回头好好学习
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3581 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 85ms · UTC 10:00 · PVG 18:00 · LAX 02:00 · JFK 05:00
    ♥ Do have faith in what you're doing.