📄️ Markdown Features
Docusaurus supports Markdown and a few additional features.
📄️ DualPipe学习记录
Deepseek V3选择仍使用ZeRO-1
📄️ Grad_Clip精度对齐
1.动手调用ClipGradByGlobalNorm分析
📄️ Paddle踩坑记录
1.new_group的bug
📄️ Paddle部署
1. 拉取paddle文件
📄️ Save_load问题追踪记录
1.当前保存的文件状态
📄️ vpp非均匀切分任务
1.寻找nummicrobatches具体是外部什么参数
📄️ 分布式学习记录总结
1.通信方式
📄️ 动半,动手,加local_map的动手日志分析
1.对比localmap下的动半和非localmap的动半(左是非localmap动半(纯动半),右是localmap动半)
📄️ 动态流水并行开发知识记录
PipelineStage开发记录
📄️ 动手下的流水并行代码记录
python两种解包操作:
📄️ 旧动半实现dp+pp实例记录
代码示例:
📄️ 自动并行训练知识点记录
1.tensor在不同视角下的名称
📄️ 进阶——基于VPP编排的灵活模型层分配策略研发
1.研究当前是否支持灵活模型层分配