Geração de vídeo

"status" retorna a tarefa da sessão atual; "list" inspeciona provedores.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Tempo limite opcional da operação do provedor, em milissegundos. Quando omitido, o OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs se configurado. OPENCLAW_DOCS_MARKER:paramClose:

Entradas de referência selecionam o modo de runtime:

• Nenhuma mídia de referência → generate
• Qualquer referência de imagem → imageToVideo
• Qualquer referência de vídeo → videoToVideo
• Entradas de áudio de referência não alteram o modo resolvido; elas se aplicam por cima de qualquer modo selecionado pelas referências de imagem/vídeo e funcionam apenas com provedores que declaram maxInputAudios.

Misturar referências de imagem e vídeo não é uma superfície de capacidade compartilhada estável. Prefira um tipo de referência por solicitação.

Fallback e opções tipadas

Algumas verificações de capacidade são aplicadas na camada de fallback, e não no limite da ferramenta, de modo que uma solicitação que excede os limites do provedor primário ainda pode executar em um fallback capaz:

• Candidato ativo que não declara maxInputAudios (ou declara 0) é pulado quando a solicitação contém referências de áudio; o próximo candidato é tentado.
• maxDurationSeconds do candidato ativo abaixo do durationSeconds solicitado, sem lista supportedDurationSeconds declarada → pulado.
• A solicitação contém providerOptions e o candidato ativo declara explicitamente um esquema tipado de providerOptions → pulado se as chaves fornecidas não estiverem no esquema ou se os tipos dos valores não corresponderem. Provedores sem um esquema declarado recebem as opções como estão (passagem compatível com versões anteriores). Um provedor pode optar por não aceitar nenhuma opção de provedor declarando um esquema vazio (capabilities.providerOptions: {}), o que causa o mesmo salto de uma incompatibilidade de tipo.

O primeiro motivo de salto em uma solicitação é registrado em warn, para que operadores vejam quando seu provedor primário foi ignorado; saltos subsequentes são registrados em debug para manter cadeias longas de fallback silenciosas. Se todos os candidatos forem pulados, o erro agregado inclui o motivo de salto de cada um.

Ações

Seleção de modelo

O OpenClaw resolve o modelo nesta ordem:

1. Parâmetro de ferramenta model - se o agente especificar um na chamada.
2. videoGenerationModel.primary da configuração.
3. videoGenerationModel.fallbacks em ordem.
4. Detecção automática - provedores que têm autenticação válida, começando pelo provedor padrão atual e depois os provedores restantes em ordem alfabética.

Se um provedor falhar, o próximo candidato será tentado automaticamente. Se todos os candidatos falharem, o erro incluirá detalhes de cada tentativa.

Defina agents.defaults.mediaGenerationAutoProviderFallback: false para usar apenas as entradas explícitas model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Notas dos provedores

Modos de capacidade de provedor

O contrato compartilhado de geração de vídeo oferece suporte a capacidades específicas por modo, em vez de apenas limites agregados planos. Novas implementações de provedor devem preferir blocos de modo explícitos:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Campos agregados planos como maxInputImages e maxInputVideos não são suficientes para anunciar suporte ao modo de transformação. Provedores devem declarar generate, imageToVideo e videoToVideo explicitamente para que testes live, testes de contrato e a ferramenta compartilhada video_generate possam validar o suporte a modos de forma determinística.

Quando um modelo em um provedor tiver suporte mais amplo a entradas de referência do que o restante, use maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel em vez de aumentar o limite de todo o modo.

Testes live

Cobertura live opcional para os provedores compartilhados incluídos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper do repositório:

pnpm test:live:media video

Esse arquivo live carrega variáveis de ambiente ausentes de provedores de ~/.profile, prefere chaves de API live/de ambiente antes de perfis de autenticação armazenados por padrão e executa um smoke test seguro para release por padrão:

• generate para todo provedor que não seja FAL na varredura.
• Prompt de lagosta de um segundo.
• Limite de operação por provedor a partir de OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 por padrão).

FAL é opcional porque a latência de fila do lado do provedor pode dominar o tempo de release:

pnpm test:live:media video --video-providers fal

Defina OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para também executar os modos de transformação declarados que a varredura compartilhada consegue exercitar com segurança com mídia local:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e o provedor/modelo aceita entrada de vídeo local com suporte de buffer na varredura compartilhada.

Hoje, a faixa live compartilhada de videoToVideo cobre runway apenas quando você seleciona runway/gen4_aleph.

Configuração

Defina o modelo padrão de geração de vídeo na sua configuração do OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou via CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Relacionados

• Alibaba Model Studio
• Tarefas em segundo plano - acompanhamento de tarefas para geração assíncrona de vídeo
• BytePlus
• ComfyUI
• Referência de configuração
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Visão geral das ferramentas
• Vydra
• xAI