烈火灼冰 - 【学习/记录】torchrun/DDP使用方法与注意事项 的评论
type: channel
link: https://4c43.work/index.php/archives/107/
description: 概述基于pytorch自身的分布式训练，通过调用nccl等backend实现多机多卡并行训练。面向 DDP手动启动 的实现启动方式python main.py面向 torchrun 的实现启动方...