vLLM

vLLM được xem là backend /v1 tương thích OpenAI kiểu proxy, không phải endpoint OpenAI gốc. Điều này có nghĩa là:

Với các mô hình Qwen được phục vụ qua vLLM, hãy đặt params.qwenThinkingFormat: "chat-template" trên mục mô hình khi máy chủ mong đợi kwargs chat-template của Qwen. OpenClaw ánh xạ /think off thành:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

Các mức suy nghĩ không phải off gửi enable_thinking: true. Nếu endpoint của bạn thay vào đó mong đợi cờ cấp cao nhất kiểu DashScope, hãy dùng params.qwenThinkingFormat: "top-level" để gửi enable_thinking tại gốc yêu cầu. params.qwen_thinking_format dạng snake-case cũng được chấp nhận.

vLLM/Nemotron 3 có thể dùng kwargs chat-template để kiểm soát việc reasoning được trả về dưới dạng reasoning ẩn hay văn bản câu trả lời hiển thị. Khi một phiên OpenClaw dùng vllm/nemotron-3-* với thinking tắt, Plugin vLLM đi kèm gửi:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

Để tùy chỉnh các giá trị này, hãy đặt chat_template_kwargs trong tham số của mô hình. Nếu bạn cũng đặt params.extra_body.chat_template_kwargs, giá trị đó có độ ưu tiên cuối cùng vì extra_body là phần ghi đè body yêu cầu cuối cùng.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

Trước tiên hãy đảm bảo vLLM đã được khởi động với trình phân tích tool-call và chat template đúng cho mô hình. Ví dụ, tài liệu vLLM nêu hermes cho các mô hình Qwen2.5 và qwen3_xml cho các mô hình Qwen3-Coder.

Triệu chứng:

• skills hoặc công cụ không bao giờ chạy
• trợ lý in JSON/XML thô như {"name":"read","arguments":...}
• vLLM trả về mảng tool_calls rỗng khi OpenClaw gửi tool_choice: "auto"

Một số tổ hợp Qwen/vLLM chỉ trả về lệnh gọi công cụ có cấu trúc khi yêu cầu dùng tool_choice: "required". Với các mục mô hình đó, hãy buộc trường yêu cầu tương thích OpenAI bằng params.extra_body:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

Thay Qwen-Qwen2.5-Coder-32B-Instruct bằng id chính xác được trả về bởi:

openclaw models list --provider vllm

Bạn có thể áp dụng cùng phần ghi đè từ CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Đây là giải pháp tương thích cần chọn tham gia. Nó khiến mọi lượt mô hình có công cụ đều yêu cầu một lệnh gọi công cụ, vì vậy chỉ dùng cho một mục mô hình cục bộ chuyên dụng khi hành vi đó chấp nhận được. Không dùng nó làm mặc định toàn cục cho tất cả mô hình vLLM, và không dùng proxy mù quáng chuyển đổi văn bản trợ lý tùy ý thành lệnh gọi công cụ có thể thực thi.

Nếu máy chủ vLLM của bạn chạy trên máy chủ hoặc cổng không mặc định, hãy đặt baseUrl trong cấu hình nhà cung cấp rõ ràng:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        request: { allowPrivateNetwork: true },        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

Với các mô hình cục bộ lớn, máy chủ LAN từ xa hoặc liên kết tailnet, hãy đặt thời gian chờ yêu cầu theo phạm vi nhà cung cấp:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        request: { allowPrivateNetwork: true },        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds chỉ áp dụng cho các yêu cầu HTTP mô hình vLLM, bao gồm thiết lập kết nối, header phản hồi, truyền body theo luồng và tổng thời gian hủy guarded-fetch. Nên dùng tùy chọn này trước khi tăng agents.defaults.timeoutSeconds, vốn kiểm soát toàn bộ lượt chạy của agent.

Kiểm tra xem máy chủ vLLM có đang chạy và truy cập được không:

curl http://127.0.0.1:8000/v1/models

Nếu bạn thấy lỗi kết nối, hãy xác minh máy chủ, cổng và việc vLLM đã được khởi động với chế độ máy chủ tương thích OpenAI. Với các endpoint local loopback, LAN hoặc Tailscale rõ ràng, cũng đặt models.providers.vllm.request.allowPrivateNetwork: true; yêu cầu của nhà cung cấp chặn URL mạng riêng theo mặc định trừ khi nhà cung cấp được tin cậy rõ ràng.

Nếu yêu cầu thất bại với lỗi xác thực, hãy đặt VLLM_API_KEY thật khớp với cấu hình máy chủ của bạn, hoặc cấu hình nhà cung cấp rõ ràng trong models.providers.vllm.

Tự động phát hiện yêu cầu phải đặt VLLM_API_KEY. Nếu bạn đã định nghĩa models.providers.vllm, OpenClaw chỉ dùng các mô hình bạn đã khai báo trừ khi agents.defaults.models bao gồm "vllm/*": {}.

Nếu mô hình Qwen in cú pháp công cụ JSON/XML thay vì thực thi một skill, hãy xem hướng dẫn Qwen trong phần Cấu hình nâng cao ở trên. Cách sửa thường dùng là:

• khởi động vLLM với trình phân tích/template đúng cho mô hình đó
• xác nhận id mô hình chính xác bằng openclaw models list --provider vllm
• thêm phần ghi đè params.extra_body.tool_choice: "required" riêng cho từng mô hình chỉ khi tool_choice: "auto" vẫn trả về lệnh gọi công cụ rỗng hoặc chỉ dạng văn bản