Civilization Museum
The Dark Forest
目录
0%
概述
参数解析
训练初始化
模型检查点
3D并行示例
lora微调
分布式配置
单GPU使用
单节点多 GPU
多节点
自动
手动配置
环境变量
混合精度
配置示例
参数动态调整流程
流水线运行
输入
nn.Sequential
list
张量并行
自动张量并行
训练(未确定)
推理
支持的模型
MoE
Zero配置
关键参数
allgather_bucket_size
ZeRO-3 专属配置参数
CPU、NVME卸载
优化器卸载(offload_optimizer)
参数卸载(offload_param)
稀疏注意力
数据效率
Random-LTD 的核心思想
课程学习curriculum_learning
激活检查点
异步 I/OPermalink
自动调优
调优范围
启动
1、启动命令
2、配置文件
通信配置
模型检查点
保存模型
在内存中保留完整的 fp32 模型
流式写入磁盘
加载模型
日志记录
Flops分析器
0%