Génération de vidéos

"status" renvoie la tâche de session actuelle ; "list" inspecte les fournisseurs.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Délai d'expiration facultatif de l'opération du fournisseur, en millisecondes. Lorsqu'il est omis, OpenClaw utilise agents.defaults.videoGenerationModel.timeoutMs s'il est configuré. OPENCLAW_DOCS_MARKER:paramClose:

Les entrées de référence sélectionnent le mode d'exécution :

• Aucun média de référence → generate
• Toute référence d'image → imageToVideo
• Toute référence vidéo → videoToVideo
• Les entrées audio de référence ne modifient pas le mode résolu ; elles s'appliquent par-dessus le mode sélectionné par les références d'image/vidéo, et ne fonctionnent qu'avec les fournisseurs qui déclarent maxInputAudios.

Le mélange de références d'image et de vidéo n'est pas une surface de capacité partagée stable. Préférez un seul type de référence par requête.

Repli et options typées

Certaines vérifications de capacité sont appliquées au niveau de la couche de repli plutôt qu'à la limite de l'outil, si bien qu'une requête qui dépasse les limites du fournisseur principal peut toujours s'exécuter sur un repli capable :

• Un candidat actif ne déclarant aucun maxInputAudios (ou 0) est ignoré lorsque la requête contient des références audio ; le candidat suivant est essayé.
• Le maxDurationSeconds du candidat actif est inférieur au durationSeconds demandé sans liste supportedDurationSeconds déclarée → ignoré.
• La requête contient providerOptions et le candidat actif déclare explicitement un schéma providerOptions typé → ignoré si les clés fournies ne sont pas dans le schéma ou si les types de valeurs ne correspondent pas. Les fournisseurs sans schéma déclaré reçoivent les options telles quelles (transmission rétrocompatible). Un fournisseur peut refuser toutes les options de fournisseur en déclarant un schéma vide (capabilities.providerOptions: {}), ce qui provoque le même contournement qu'une incompatibilité de type.

La première raison de contournement d'une requête est journalisée à warn afin que les opérateurs voient quand leur fournisseur principal a été écarté ; les contournements suivants sont journalisés à debug pour garder les longues chaînes de repli silencieuses. Si tous les candidats sont ignorés, l'erreur agrégée inclut la raison de contournement de chacun.

Actions

Sélection du modèle

OpenClaw résout le modèle dans cet ordre :

1. Paramètre d'outil model - si l'agent en spécifie un dans l'appel.
2. videoGenerationModel.primary depuis la configuration.
3. videoGenerationModel.fallbacks dans l'ordre.
4. Détection automatique - fournisseurs disposant d'une authentification valide, en commençant par le fournisseur par défaut actuel, puis les fournisseurs restants dans l'ordre alphabétique.

Si un fournisseur échoue, le candidat suivant est essayé automatiquement. Si tous les candidats échouent, l'erreur inclut les détails de chaque tentative.

Définissez agents.defaults.mediaGenerationAutoProviderFallback: false pour utiliser uniquement les entrées explicites model, primary et fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Notes sur les fournisseurs

Modes de capacité des fournisseurs

Le contrat partagé de génération vidéo prend en charge des capacités propres à chaque mode plutôt que seulement des limites agrégées plates. Les nouvelles implémentations de fournisseurs devraient privilégier des blocs de mode explicites :

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Les champs agrégés plats tels que maxInputImages et maxInputVideos ne sont pas suffisants pour annoncer la prise en charge du mode de transformation. Les fournisseurs devraient déclarer explicitement generate, imageToVideo et videoToVideo afin que les tests en direct, les tests de contrat et l’outil partagé video_generate puissent valider la prise en charge des modes de manière déterministe.

Lorsqu’un modèle d’un fournisseur prend en charge davantage d’entrées de référence que le reste, utilisez maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel au lieu d’augmenter la limite globale du mode.

Tests en direct

Couverture en direct facultative pour les fournisseurs groupés partagés :

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper du dépôt :

pnpm test:live:media video

Ce fichier en direct charge les variables d’environnement fournisseur manquantes depuis ~/.profile, privilégie par défaut les clés d’API live/env avant les profils d’authentification stockés, et exécute un test de fumée adapté aux releases par défaut :

• generate pour chaque fournisseur non-FAL de la passe.
• Prompt de homard d’une seconde.
• Plafond d’opération par fournisseur depuis OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 par défaut).

FAL est facultatif, car la latence de la file d’attente côté fournisseur peut dominer le temps de release :

pnpm test:live:media video --video-providers fal

Définissez OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 pour exécuter aussi les modes de transformation déclarés que la passe partagée peut exercer en toute sécurité avec des médias locaux :

• imageToVideo lorsque capabilities.imageToVideo.enabled.
• videoToVideo lorsque capabilities.videoToVideo.enabled et que le fournisseur/modèle accepte une entrée vidéo locale adossée à un tampon dans la passe partagée.

Aujourd’hui, la voie de test en direct videoToVideo partagée couvre runway uniquement lorsque vous sélectionnez runway/gen4_aleph.

Configuration

Définissez le modèle de génération vidéo par défaut dans votre configuration OpenClaw :

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Ou via la CLI :

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Connexe

• Alibaba Model Studio
• Tâches en arrière-plan - suivi des tâches pour la génération vidéo asynchrone
• BytePlus
• ComfyUI
• Référence de configuration
• fal
• Google (Gemini)
• MiniMax
• Modèles
• OpenAI
• Qwen
• Runway
• Together AI
• Vue d’ensemble des outils
• Vydra
• xAI