vLLM

vLLM se trata como un backend /v1 compatible con OpenAI de estilo proxy, no como un endpoint nativo de OpenAI. Esto significa:

Para modelos Qwen servidos mediante vLLM, configura params.qwenThinkingFormat: "chat-template" en la entrada del modelo cuando el servidor espere kwargs de plantilla de chat de Qwen. OpenClaw asigna /think off a:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Los niveles de pensamiento distintos de off envían enable_thinking: true. Si tu endpoint espera flags de nivel superior al estilo DashScope en su lugar, usa params.qwenThinkingFormat: "top-level" para enviar enable_thinking en la raíz de la solicitud. También se acepta params.qwen_thinking_format en snake-case.

vLLM/Nemotron 3 puede usar kwargs de plantilla de chat para controlar si el razonamiento se devuelve como razonamiento oculto o como texto de respuesta visible. Cuando una sesión de OpenClaw usa vllm/nemotron-3-* con pensamiento desactivado, el Plugin de vLLM incluido envía:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Para personalizar estos valores, configura chat_template_kwargs en los parámetros del modelo. Si también configuras params.extra_body.chat_template_kwargs, ese valor tiene precedencia final porque extra_body es la última anulación del cuerpo de la solicitud.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Primero asegúrate de que vLLM se haya iniciado con el analizador de llamadas a herramientas y la plantilla de chat correctos para el modelo. Por ejemplo, vLLM documenta hermes para modelos Qwen2.5 y qwen3_xml para modelos Qwen3-Coder.

Síntomas:

• las Skills o herramientas nunca se ejecutan
• el asistente imprime JSON/XML sin procesar, como {"name":"read","arguments":...}
• vLLM devuelve un arreglo tool_calls vacío cuando OpenClaw envía tool_choice: "auto"

Algunas combinaciones de Qwen/vLLM devuelven llamadas a herramientas estructuradas solo cuando la solicitud usa tool_choice: "required". Para esas entradas de modelo, fuerza el campo de solicitud compatible con OpenAI con params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Reemplaza Qwen-Qwen2.5-Coder-32B-Instruct por el id exacto devuelto por:

openclaw models list --provider vllm

Puedes aplicar la misma anulación desde la CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta es una solución de compatibilidad opcional. Hace que cada turno de modelo con herramientas requiera una llamada a herramienta, así que úsala solo para una entrada de modelo local dedicada donde ese comportamiento sea aceptable. No la uses como valor predeterminado global para todos los modelos de vLLM, y no uses un proxy que convierta a ciegas texto arbitrario del asistente en llamadas a herramientas ejecutables.

Si tu servidor vLLM se ejecuta en un host o puerto no predeterminado, configura baseUrl en la configuración explícita del proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        request: { allowPrivateNetwork: true },        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Para modelos locales grandes, hosts LAN remotos o enlaces tailnet, configura un tiempo de espera de solicitud con alcance de proveedor:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        request: { allowPrivateNetwork: true },        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds se aplica solo a las solicitudes HTTP de modelos de vLLM, incluida la configuración de la conexión, los encabezados de respuesta, el streaming del cuerpo y la cancelación total de guarded-fetch. Prefiere esto antes de aumentar agents.defaults.timeoutSeconds, que controla toda la ejecución del agente.

Comprueba que el servidor vLLM se esté ejecutando y sea accesible:

curl http://127.0.0.1:8000/v1/models

Si ves un error de conexión, verifica el host, el puerto y que vLLM se haya iniciado con el modo de servidor compatible con OpenAI. Para endpoints explícitos de loopback, LAN o Tailscale, configura también models.providers.vllm.request.allowPrivateNetwork: true; las solicitudes del proveedor bloquean las URL de red privada de forma predeterminada a menos que el proveedor sea explícitamente de confianza.

Si las solicitudes fallan con errores de autenticación, configura un VLLM_API_KEY real que coincida con la configuración de tu servidor, o configura el proveedor explícitamente en models.providers.vllm.

La detección automática requiere que VLLM_API_KEY esté configurado. Si has definido models.providers.vllm, OpenClaw usa solo tus modelos declarados a menos que agents.defaults.models incluya "vllm/*": {}.

Si un modelo Qwen imprime sintaxis de herramientas JSON/XML en lugar de ejecutar una skill, revisa la guía de Qwen en Configuración avanzada arriba. La solución habitual es:

• iniciar vLLM con el analizador/plantilla correctos para ese modelo
• confirmar el id exacto del modelo con openclaw models list --provider vllm
• añadir una anulación dedicada por modelo params.extra_body.tool_choice: "required" solo si tool_choice: "auto" todavía devuelve llamadas a herramientas vacías o solo texto