推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
yiyi1010
V2EX  ›  Python

PyTorch DistributedDataParallel 多卡训练结果变差

  •  
  •   yiyi1010 · Jan 31, 2023 · 3175 views
    This topic created in 1389 days ago, the information mentioned may be changed or developed.

    本想使用多卡训练,训练结果应该会更加好,但是我发现使用三张 3090 训练,网络模型不收敛, 这是因为学习率的原因吗?

    11 replies  •  2023-03-12 22:21:38 +08:00
    Ricardoo
    Ricardoo
    Jan 31, 2023
    1
    正常。
    使用多卡后一般需要调小学习率,也有可能不需要调,比较玄学。
    clemente0620
    clemente0620
    Jan 31, 2023
    2
    按卡倍数 降低 学习率
    leimao
    leimao
    Jan 31, 2023 via iPad
    3
    DDP 本质就是增加了 Batch Size 。Batch Size 变了,模型可能需要就 Training Recipe 进行微调。
    hsfzxjy
    hsfzxjy
    Feb 1, 2023 via Android
    4
    调学习率,以及注意 BN
    yiyi1010
    yiyi1010
    OP
    Feb 1, 2023
    5
    对 DDP 增加了 batch size ,不是应该按照卡倍数 增加学习率吗?
    yiyi1010
    yiyi1010
    OP
    Feb 1, 2023
    6
    @Ricardoo 这 那还能调吗
    yiyi1010
    yiyi1010
    OP
    Feb 1, 2023
    7
    @hsfzxjy 请问 BN 是有什么影响吗
    hsfzxjy
    hsfzxjy
    Feb 1, 2023 via Android
    8
    @yiyi1010 BN 要换成 SyncBatchNorm ,不然统计量不同步
    yiyi1010
    yiyi1010
    OP
    Feb 1, 2023
    9
    @hsfzxjy 有道理。谢谢你,我去试试
    yiyi1010
    yiyi1010
    OP
    Feb 1, 2023
    10
    看一般是需要线性提升 leanring rate
    yiyi1010
    yiyi1010
    OP
    Mar 12, 2023
    11
    @hsfzxjy 你说 layernorm ,而不是 BN ,也要替换成 Syn 的版本是吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1812 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 10:18 · PVG 18:18 · LAX 02:18 · JFK 05:18
    ♥ Do have faith in what you're doing.