推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
wangtianshang
V2EX  ›  Python

如果一个程序需要进行大量的 IO 操作,应当使用并行还是并发?

  •  
  •   wangtianshang · Nov 4, 2018 via Android · 8774 views
    This topic created in 2926 days ago, the information mentioned may be changed or developed.
    36 replies  •  2018-11-06 20:00:45 +08:00
    HuHui
    HuHui
    Nov 4, 2018
    1
    看具体业务
    wmhx
    wmhx
    Nov 4, 2018
    2
    并行 /并发 有什么区别?
    lhx2008
    lhx2008
    Nov 4, 2018 via Android
    3
    异步
    lean
    lean
    Nov 4, 2018 via Android
    4
    @wmhx 并行:生产流水线
    并发:购物订单
    misaka19000
    misaka19000
    Nov 4, 2018
    5
    并行还是并发不看 IO,要看计算量大不大
    WildCat
    WildCat
    Nov 4, 2018
    6
    揭秘 iPhone 售后的灰色产业链,是什么让苹果每年损失十多亿美元
    https://zhuanlan.zhihu.com/p/46463952

    「据外媒 The Information 统计,苹果在 2013 年用于全球售后维修的预算为 16 亿美元,但最终花了 37 亿美元来维持业务运营,而中国市场的售后处理占了业务支出的大头。」
    WildCat
    WildCat
    Nov 4, 2018
    7
    @WildCat 楼上发错了 抱歉!
    opengps
    opengps
    Nov 4, 2018
    8
    并行 /并发 是不是这么理解:
    并行,多进程甚至多服务器
    并发,单进程多线程

    对于将来需要扩展的业务,显然必然选择多进程多服务器这种“分布式”,对于仅仅需要多几个线程充分用满当前 cpu,则并发多线程去运行
    mattx
    mattx
    Nov 4, 2018
    9
    io 的瓶颈在于磁盘, 网卡等, 无法真正的并行, 即使调用上的并发量上去了, 效果也挺差的. 用异步的方式来解决, 降低消耗.
    leriou
    leriou
    Nov 4, 2018
    10
    @wmhx 并行可类比为 2 个人同时去一台饮水机的两个出水口接水, 两个人一个要热水,一个要凉水, 并发类比两个人一起去都要热水
    zjsxwc
    zjsxwc
    Nov 4, 2018 via Android
    11
    一张嘴同时说中午与英文是并行;说一句中午再说一句英文是并发。
    xmadi
    xmadi
    Nov 4, 2018 via iPhone
    12
    这种咬文嚼字没有意义
    qhxin
    qhxin
    Nov 4, 2018
    13
    erlang 解决烦劳
    likuku
    likuku
    Nov 4, 2018
    14
    猜你实际上是想问密集 I/O 时 Python 用 多进程 or 多线程?

    假若是问这个,两个都行啊。CPU 密集,则只得用多进程。
    kekxv
    kekxv
    Nov 4, 2018 via Android
    15
    应当用 redis 等玩意
    henglinli
    henglinli
    Nov 4, 2018
    16
    有兴趣可以看看这个,https://sites.google.com/site/1024cores/。 这个人设计了 golang scheduler (我估计 golang 现在任然是这个 scheduler ) https://docs.google.com/document/d/1TTj4T2JO42uD5ID9e89oa0sLKhJYD0Y_kqxDv3I3XMw/edit
    我当时只是想看看 lockfree 的,可能你对 Scalable Architecture 这部分更感兴趣。
    站在我的水平上,我的意见是并发能达到需求,就不考虑并行。越往底层走,越难 handle,当然也越有意思。
    ltoddy
    ltoddy
    Nov 4, 2018❤️2
    17
    并发是指一次处理多件事。

    并行是指一次做多件事。

    二者不同,但是有联系。

    一个关于结构,一个关于执行。

    并发用于制定方案,用来解决可能(但未必)并行的问题。

    -- Rob Pike Go 语言的创造者之一

    我自己想法是多线程+异步.
    zxiso
    zxiso
    Nov 4, 2018 via Android
    18
    大量 io 最好可以通过异步流程,分离 io 部分和逻辑部分。因为整体 io 耗时就摆在那里。。逻辑部分可以做点进度条之类的东西让用户感觉良好就好。。
    feverzsj
    feverzsj
    Nov 4, 2018
    19
    都可以
    qwe61655
    qwe61655
    Nov 4, 2018 via iPhone
    20
    看情况
    blackjar
    blackjar
    Nov 4, 2018
    21
    这两个冲突吗? 多进程+协程
    inframe
    inframe
    Nov 4, 2018 via iPhone
    22
    看起来是 concurrency 和 parallel 的关系
    ArianX
    ArianX
    Nov 5, 2018 via Android
    23
    我一直觉得并行是并发的一种方式
    JCZ2MkKb5S8ZX9pq
    JCZ2MkKb5S8ZX9pq
    Nov 5, 2018
    24
    网络 IO 多开可能提速,硬盘 IO 能提速嘛?
    jimzhong
    jimzhong
    Nov 5, 2018
    25
    @ArianX 反了吧
    glacer
    glacer
    Nov 5, 2018
    26
    并发就是假的并行...
    并行是指多核情况下同时处理多任务,并发是在单核下利用时间片来模拟同时处理多任务。
    glacer
    glacer
    Nov 5, 2018
    27
    回答楼主问题。IO 密集型的程序使用多线程或线程并发即可,这种情况下能最大化利用 CPU。
    sl0000
    sl0000
    Nov 5, 2018
    28
    这个应该使用并法逻辑流的 I/O 多路复用
    checgg
    checgg
    Nov 5, 2018
    29
    这是啥问题?
    并行和并发的定义是啥,不理解,能否补充一下英文关键词或者具体业务场景?
    大量 IO 是指的磁盘 IO 还是网络 IO ?
    liuminghao233
    liuminghao233
    Nov 5, 2018 via iPhone
    30
    异步加协程最好了
    Antihank
    Antihank
    Nov 5, 2018
    31
    并发是场景,并行是方法,你怎么并发 IO ?
    xmge
    xmge
    Nov 5, 2018
    32
    并行
    dychenyi
    dychenyi
    Nov 5, 2018
    33
    我做过, 多线程+mmap
    lolizeppelin
    lolizeppelin
    Nov 5, 2018 via Android
    34
    看情况 io 上限摆在那里 极限情况下并行并不能超过物理上限
    反而因为大量上下文切换降低性能

    你试试 多个大量数据的 SQL 文件并行插入 结果插入速度远低于顺序执行这些 sql 文件


    但是多个少量 sql 文件 并行插入性能就不错

    所以 看情况
    xiangbohua
    xiangbohua
    Nov 5, 2018
    35
    中间层缓冲,统一 IO 进磁盘,随机 IO 真的废
    wangtianshang
    wangtianshang
    OP
    Nov 6, 2018 via Android
    36
    @glacer 是的😁
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1629 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 110ms · UTC 12:45 · PVG 20:45 · LAX 04:45 · JFK 07:45
    ♥ Do have faith in what you're doing.