Generazione di video

"status" restituisce il task della sessione corrente; "list" ispeziona i provider.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Timeout opzionale dell'operazione del provider in millisecondi. Se omesso, OpenClaw usa agents.defaults.videoGenerationModel.timeoutMs se configurato. OPENCLAW_DOCS_MARKER:paramClose:

Gli input di riferimento selezionano la modalità runtime:

• Nessun media di riferimento → generate
• Qualsiasi riferimento immagine → imageToVideo
• Qualsiasi riferimento video → videoToVideo
• Gli input audio di riferimento non cambiano la modalità risolta; si applicano sopra qualsiasi modalità selezionata dai riferimenti immagine/video e funzionano solo con provider che dichiarano maxInputAudios.

Riferimenti misti di immagini e video non sono una superficie di capacità condivisa stabile. Preferisci un solo tipo di riferimento per richiesta.

Fallback e opzioni tipizzate

Alcuni controlli di capacità vengono applicati a livello di fallback invece che al confine dello strumento, quindi una richiesta che supera i limiti del provider primario può comunque essere eseguita su un fallback capace:

• Il candidato attivo che non dichiara maxInputAudios (o dichiara 0) viene saltato quando la richiesta contiene riferimenti audio; viene provato il candidato successivo.
• Il maxDurationSeconds del candidato attivo è inferiore al durationSeconds richiesto senza un elenco supportedDurationSeconds dichiarato → saltato.
• La richiesta contiene providerOptions e il candidato attivo dichiara esplicitamente uno schema providerOptions tipizzato → saltato se le chiavi fornite non sono nello schema o i tipi dei valori non corrispondono. I provider senza uno schema dichiarato ricevono le opzioni così come sono (pass-through retrocompatibile). Un provider può disattivare tutte le opzioni del provider dichiarando uno schema vuoto (capabilities.providerOptions: {}), il che causa lo stesso salto di un mismatch di tipo.

Il primo motivo di salto in una richiesta viene registrato a livello warn, così gli operatori vedono quando il loro provider primario è stato ignorato; i salti successivi vengono registrati a livello debug per mantenere silenziose le catene di fallback lunghe. Se ogni candidato viene saltato, l'errore aggregato include il motivo di salto per ciascuno.

Azioni

Selezione del modello

OpenClaw risolve il modello in questo ordine:

1. Parametro strumento model - se l'agente ne specifica uno nella chiamata.
2. videoGenerationModel.primary dalla configurazione.
3. videoGenerationModel.fallbacks in ordine.
4. Rilevamento automatico - provider con autenticazione valida, a partire dal provider predefinito corrente, poi i provider rimanenti in ordine alfabetico.

Se un provider fallisce, il candidato successivo viene provato automaticamente. Se tutti i candidati falliscono, l'errore include i dettagli di ogni tentativo.

Imposta agents.defaults.mediaGenerationAutoProviderFallback: false per usare solo le voci esplicite model, primary e fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Note sui provider

Modalità delle capacità dei provider

Il contratto condiviso di generazione video supporta capacità specifiche per modalità anziché solo limiti aggregati piatti. Le nuove implementazioni dei provider dovrebbero preferire blocchi di modalità espliciti:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Campi aggregati piatti come maxInputImages e maxInputVideos non sono sufficienti per dichiarare il supporto della modalità di trasformazione. I provider dovrebbero dichiarare esplicitamente generate, imageToVideo e videoToVideo affinché i test live, i test di contratto e lo strumento condiviso video_generate possano convalidare il supporto delle modalità in modo deterministico.

Quando un modello in un provider ha un supporto per input di riferimento più ampio rispetto agli altri, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel invece di aumentare il limite dell'intera modalità.

Test live

Copertura live opzionale per i provider inclusi condivisi:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper del repo:

pnpm test:live:media video

Questo file live carica le variabili d'ambiente mancanti dei provider da ~/.profile, preferisce per impostazione predefinita le chiavi API live/da ambiente rispetto ai profili di autenticazione salvati ed esegue uno smoke test sicuro per la release per impostazione predefinita:

• generate per ogni provider non FAL nello sweep.
• Prompt di un'aragosta della durata di un secondo.
• Limite di operazioni per provider da OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 per impostazione predefinita).

FAL è opzionale perché la latenza della coda lato provider può dominare il tempo di release:

pnpm test:live:media video --video-providers fal

Imposta OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 per eseguire anche le modalità di trasformazione dichiarate che lo sweep condiviso può esercitare in sicurezza con media locali:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e il provider/modello accetta input video locali basati su buffer nello sweep condiviso.

Oggi la lane live condivisa videoToVideo copre runway solo quando selezioni runway/gen4_aleph.

Configurazione

Imposta il modello predefinito di generazione video nella tua configurazione OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Oppure tramite la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Correlati

• Alibaba Model Studio
• Attività in background - tracciamento delle attività per la generazione video asincrona
• BytePlus
• ComfyUI
• Riferimento di configurazione
• fal
• Google (Gemini)
• MiniMax
• Modelli
• OpenAI
• Qwen
• Runway
• Together AI
• Panoramica degli strumenti
• Vydra
• xAI