MLOps · 推理Hermes Agent官方/原始条目

serving-llms-vllm

使用 vLLM 的 PagedAttention 和连续批处理实现高吞吐量大语言模型服务。用于部署生产级大语言模型 API、优化推理延迟/吞吐量，或在 GPU 内存有限的情况下服务模型。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、连续批处理、动态批处理等功能……

Hermes 内置已收录来源排名 #47

一句话说明

使用 vLLM 的 PagedAttention 和连续批处理实现高吞吐量大语言模型服务。用于部署生产级大语言模型 API、优化推理延迟/吞吐量，或在 GPU 内存有限的情况下服务模型。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、连续批处理、动态批处理等功能……

适合：使用 vLLM 的 PagedAttention 和连续批处理实现高吞吐量大语言模型服务。用于部署生产级大语言模型 API、优化推理延迟/吞吐量，或在 GPU 内存有限的情况下服务模型。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、连续批处理、动态批处理等功能……

先确认你的 Agent 支持 Skill，再按原文说明完成安装。

无需单独安装或暂未提供命令

这是 Hermes Agent 的内置 Skill，安装 Hermes Agent 后可按官方 Skill Catalog 调用。

执行安装命令前，请检查仓库来源、依赖、权限和脚本内容，不要把密钥直接写进命令或公开配置。

从公开说明中提炼的能力与适用范围。

这是 Hermes Agent 安装后自带的 Skill。实际可用能力、依赖和路径请以 Hermes Agent 当前版本的 Skill Catalog 文档为准。

快速判断它是否适合你的任务。

推荐理由

适合已经使用 Hermes Agent，并希望直接调用内置能力的用户。

使用 vLLM 的 PagedAttention 和连续批处理实现高吞吐量大语言模型服务。用于部署生产级大语言模型 API、优化推理延迟/吞吐量，或在 GPU 内存有限的情况下服务模型。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、连续批处理、动态批处理等功能……

安装和功能变化以原始资料为准。