Generación de video

"status" devuelve la tarea de la sesión actual; "list" inspecciona los proveedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tiempo de espera opcional de la operación del proveedor en milisegundos. Cuando se omite, OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs si está configurado. OPENCLAW_DOCS_MARKER:paramClose:

Las entradas de referencia seleccionan el modo en tiempo de ejecución:

• Sin medios de referencia → generate
• Cualquier referencia de imagen → imageToVideo
• Cualquier referencia de video → videoToVideo
• Las entradas de audio de referencia no cambian el modo resuelto; se aplican encima del modo que seleccionen las referencias de imagen/video, y solo funcionan con proveedores que declaran maxInputAudios.

Las referencias mixtas de imagen y video no son una superficie de capacidad compartida estable. Prefiere un tipo de referencia por solicitud.

Respaldo y opciones tipadas

Algunas comprobaciones de capacidad se aplican en la capa de respaldo, no en el límite de la herramienta, por lo que una solicitud que excede los límites del proveedor principal aún puede ejecutarse en un respaldo capaz:

• El candidato activo que no declara maxInputAudios (o declara 0) se omite cuando la solicitud contiene referencias de audio; se prueba el siguiente candidato.
• El maxDurationSeconds del candidato activo por debajo del durationSeconds solicitado sin una lista supportedDurationSeconds declarada → se omite.
• La solicitud contiene providerOptions y el candidato activo declara explícitamente un esquema providerOptions tipado → se omite si las claves suministradas no están en el esquema o los tipos de valores no coinciden. Los proveedores sin un esquema declarado reciben las opciones tal como están (transferencia directa compatible con versiones anteriores). Un proveedor puede excluirse de todas las opciones de proveedor declarando un esquema vacío (capabilities.providerOptions: {}), lo que causa la misma omisión que una discrepancia de tipo.

El primer motivo de omisión en una solicitud se registra en warn para que los operadores vean cuándo se pasó por alto su proveedor principal; las omisiones posteriores se registran en debug para mantener silenciosas las cadenas de respaldo largas. Si se omiten todos los candidatos, el error agregado incluye el motivo de omisión de cada uno.

Acciones

Selección de modelo

OpenClaw resuelve el modelo en este orden:

1. Parámetro de herramienta model - si el agente especifica uno en la llamada.
2. videoGenerationModel.primary de la configuración.
3. videoGenerationModel.fallbacks en orden.
4. Detección automática - proveedores que tienen autenticación válida, empezando por el proveedor predeterminado actual y luego el resto de proveedores en orden alfabético.

Si un proveedor falla, se prueba automáticamente el siguiente candidato. Si todos los candidatos fallan, el error incluye detalles de cada intento.

Establece agents.defaults.mediaGenerationAutoProviderFallback: false para usar solo las entradas explícitas model, primary y fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Notas de proveedores

Modos de capacidad del proveedor

El contrato compartido de generación de video admite capacidades específicas por modo en lugar de solo límites agregados planos. Las nuevas implementaciones de proveedores deberían preferir bloques de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Los campos agregados planos como maxInputImages y maxInputVideos no son suficientes para anunciar compatibilidad con modos de transformación. Los proveedores deberían declarar generate, imageToVideo y videoToVideo explícitamente para que las pruebas en vivo, las pruebas de contrato y la herramienta compartida video_generate puedan validar la compatibilidad de modo de forma determinista.

Cuando un modelo de un proveedor admite más entradas de referencia que el resto, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel en lugar de aumentar el límite de todo el modo.

Pruebas en vivo

Cobertura en vivo opcional para los proveedores incluidos compartidos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper del repo:

pnpm test:live:media video

Este archivo en vivo carga las variables de entorno de proveedor faltantes desde ~/.profile, prefiere claves de API en vivo/de entorno por delante de los perfiles de autenticación almacenados de forma predeterminada, y ejecuta un smoke seguro para release de forma predeterminada:

• generate para cada proveedor que no sea FAL en el barrido.
• Prompt de langosta de un segundo.
• Límite de operación por proveedor desde OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 de forma predeterminada).

FAL es opcional porque la latencia de la cola del lado del proveedor puede dominar el tiempo de release:

pnpm test:live:media video --video-providers fal

Establece OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para ejecutar también los modos de transformación declarados que el barrido compartido puede ejercitar de forma segura con medios locales:

• imageToVideo cuando capabilities.imageToVideo.enabled.
• videoToVideo cuando capabilities.videoToVideo.enabled y el proveedor/modelo acepta entrada de video local respaldada por búfer en el barrido compartido.

Hoy, la vía en vivo compartida de videoToVideo cubre runway solo cuando seleccionas runway/gen4_aleph.

Configuración

Establece el modelo predeterminado de generación de video en tu configuración de OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

O mediante la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Relacionado

• Alibaba Model Studio
• Tareas en segundo plano - seguimiento de tareas para generación de video asíncrona
• BytePlus
• ComfyUI
• Referencia de configuración
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Descripción general de herramientas
• Vydra
• xAI