Civilization Museum
The Dark Forest
Civilization Museum
The Dark Forest
  • 目录
  • 关于
0%
概述参数解析训练初始化模型检查点3D并行示例lora微调分布式配置单GPU使用单节点多 GPU多节点自动手动配置环境变量混合精度配置示例参数动态调整流程流水线运行输入nn.Sequentiallist张量并行自动张量并行训练(未确定)推理支持的模型MoEZero配置关键参数allgather_bucket_sizeZeRO-3 专属配置参数CPU、NVME卸载优化器卸载(offload_optimizer)参数卸载(offload_param)稀疏注意力数据效率Random-LTD 的核心思想课程学习curriculum_learning激活检查点异步 I/OPermalink自动调优调优范围启动1、启动命令2、配置文件通信配置模型检查点保存模型在内存中保留完整的 fp32 模型流式写入磁盘加载模型日志记录Flops分析器
Logic
Logic
给时间以生命 给岁月以文明
188篇文章| 位访客
公告
备用网址:vabc.eu.org
 
最新发布
  • deepseed使用
  • 事件脉络概述
  • Agent概述
  • MySql数据库概述
  • 梯度检查点
  • 十七、环境模型
  • 分类
    更多
    标签
    更多
    目录
    0%
    概述参数解析训练初始化模型检查点3D并行示例lora微调分布式配置单GPU使用单节点多 GPU多节点自动手动配置环境变量混合精度配置示例参数动态调整流程流水线运行输入nn.Sequentiallist张量并行自动张量并行训练(未确定)推理支持的模型MoEZero配置关键参数allgather_bucket_sizeZeRO-3 专属配置参数CPU、NVME卸载优化器卸载(offload_optimizer)参数卸载(offload_param)稀疏注意力数据效率Random-LTD 的核心思想课程学习curriculum_learning激活检查点异步 I/OPermalink自动调优调优范围启动1、启动命令2、配置文件通信配置模型检查点保存模型在内存中保留完整的 fp32 模型流式写入磁盘加载模型日志记录Flops分析器
    0%
    2021-2026 Logic.

    Civilization Museum

    Powered by NotionNext 4.9.5.2.