Videogeneratie

"status" retourneert de huidige sessietaak; "list" inspecteert providers.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Optionele time-out voor providerbewerking in milliseconden. Wanneer weggelaten, gebruikt OpenClaw agents.defaults.videoGenerationModel.timeoutMs als dit is geconfigureerd. OPENCLAW_DOCS_MARKER:paramClose:

Referentie-invoer selecteert de runtime-modus:

• Geen referentiemedia → generate
• Enige afbeeldingsreferentie → imageToVideo
• Enige videoreferentie → videoToVideo
• Referentieaudio-invoer wijzigt niet de opgeloste modus; deze wordt toegepast boven op de modus die de afbeeldings-/videoreferenties selecteren, en werkt alleen met providers die maxInputAudios declareren.

Gemengde afbeeldings- en videoreferenties zijn geen stabiel gedeeld capaciteitsoppervlak. Gebruik bij voorkeur één referentietype per aanvraag.

Terugval en getypte opties

Sommige capaciteitscontroles worden toegepast in de terugvallaag in plaats van aan de toolgrens, zodat een aanvraag die de limieten van de primaire provider overschrijdt nog steeds kan draaien op een geschikte terugval:

• Actieve kandidaat die geen maxInputAudios declareert (of 0) wordt overgeslagen wanneer de aanvraag audioreferenties bevat; de volgende kandidaat wordt geprobeerd.
• maxDurationSeconds van de actieve kandidaat ligt onder de gevraagde durationSeconds zonder gedeclareerde lijst supportedDurationSeconds → overgeslagen.
• Aanvraag bevat providerOptions en de actieve kandidaat declareert expliciet een getypt providerOptions-schema → overgeslagen als opgegeven sleutels niet in het schema staan of waardetypen niet overeenkomen. Providers zonder een gedeclareerd schema ontvangen opties ongewijzigd (achterwaarts compatibele doorvoer). Een provider kan alle provideropties uitschakelen door een leeg schema te declareren (capabilities.providerOptions: {}), waardoor dezelfde overslag ontstaat als bij een typeafwijking.

De eerste overslagreden in een aanvraag wordt op warn gelogd, zodat operators zien wanneer hun primaire provider is overgeslagen; daaropvolgende overslagen worden op debug gelogd om lange terugvalketens stil te houden. Als elke kandidaat wordt overgeslagen, bevat de samengevoegde fout de overslagreden voor elke kandidaat.

Acties

Modelselectie

OpenClaw lost het model in deze volgorde op:

1. model-toolparameter - als de agent er een in de aanroep opgeeft.
2. videoGenerationModel.primary uit de configuratie.
3. videoGenerationModel.fallbacks op volgorde.
4. Automatische detectie - providers met geldige verificatie, beginnend met de huidige standaardprovider, daarna de resterende providers in alfabetische volgorde.

Als een provider faalt, wordt de volgende kandidaat automatisch geprobeerd. Als alle kandidaten falen, bevat de fout details van elke poging.

Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen de expliciete vermeldingen model, primary en fallbacks te gebruiken.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Providernotities

Modi voor providermogelijkheden

Het gedeelde contract voor videogeneratie ondersteunt modusspecifieke mogelijkheden in plaats van alleen vlakke geaggregeerde limieten. Nieuwe providerimplementaties moeten expliciete modusblokken verkiezen:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Vlakke geaggregeerde velden zoals maxInputImages en maxInputVideos zijn niet genoeg om ondersteuning voor transformatiemodi te adverteren. Providers moeten generate, imageToVideo en videoToVideo expliciet declareren zodat live tests, contracttests en de gedeelde tool video_generate modusondersteuning deterministisch kunnen valideren.

Wanneer één model in een provider bredere ondersteuning voor referentie-invoer heeft dan de rest, gebruik dan maxInputImagesByModel, maxInputVideosByModel of maxInputAudiosByModel in plaats van de modusbrede limiet te verhogen.

Live tests

Opt-in live dekking voor de gedeelde meegeleverde providers:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-wrapper:

pnpm test:live:media video

Dit livebestand laadt ontbrekende provider-env-vars uit ~/.profile, verkiest standaard live/env-API-sleutels boven opgeslagen auth-profielen, en voert standaard een release-veilige smoke uit:

• generate voor elke niet-FAL-provider in de sweep.
• Prompt van een seconde met kreeft.
• Operatielimiet per provider uit OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standaard 180000).

FAL is opt-in omdat wachtrijlatentie aan providerzijde de releasetijd kan domineren:

pnpm test:live:media video --video-providers fal

Stel OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 in om ook gedeclareerde transformatiemodi uit te voeren die de gedeelde sweep veilig met lokale media kan testen:

• imageToVideo wanneer capabilities.imageToVideo.enabled.
• videoToVideo wanneer capabilities.videoToVideo.enabled en de provider/het model buffergebaseerde lokale video-invoer accepteert in de gedeelde sweep.

Vandaag dekt de gedeelde livebaan videoToVideo alleen runway wanneer je runway/gen4_aleph selecteert.

Configuratie

Stel het standaardmodel voor videogeneratie in je OpenClaw-configuratie in:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Of via de CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Gerelateerd

• Alibaba Model Studio
• Achtergrondtaken - taaktracking voor asynchrone videogeneratie
• BytePlus
• ComfyUI
• Configuratiereferentie
• fal
• Google (Gemini)
• MiniMax
• Modellen
• OpenAI
• Qwen
• Runway
• Together AI
• Tooloverzicht
• Vydra
• xAI