使用 torchtitan 提供原生 PyTorch 分布式 LLM 预训练,支持 4D 并行(FSDP2、TP、PP、CP)。适用于在 8 到 512+ GPU 上大规模预训练 Llama 3.1、DeepSeek V3 或自定义模型,支持 Float8、torch.compile 和分布式检查点。
在 Hermes Agent 中使用
这是 Hermes Agent 安装后自带的 Skill。实际可用能力、依赖和路径请以 Hermes Agent 当前版本的 Skill Catalog 文档为准。