使用 Flash Attention 优化 Transformer 注意力机制,实现 2-4 倍加速和 10-20 倍内存减少。适用于训练/运行长序列(>512 tokens)的 Transformer 模型,或遇到注意力机制导致 GPU 内存不足的问题,或需要更快推理速度的场景。支持 PyTorch 原生 SDPA,…
在 Hermes Agent 中使用
这是 Hermes Agent 安装后自带的 Skill。实际可用能力、依赖和路径请以 Hermes Agent 当前版本的 Skill Catalog 文档为准。