Generowanie wideo

"status" zwraca bieżące zadanie sesji; "list" sprawdza dostawców.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Opcjonalny limit czasu operacji dostawcy w milisekundach. Gdy pominięty, OpenClaw używa agents.defaults.videoGenerationModel.timeoutMs, jeśli jest skonfigurowany. OPENCLAW_DOCS_MARKER:paramClose:

Wejścia referencyjne wybierają tryb runtime:

• Brak mediów referencyjnych → generate
• Dowolna referencja obrazu → imageToVideo
• Dowolna referencja wideo → videoToVideo
• Referencyjne wejścia audio nie zmieniają rozwiązanego trybu; stosują się ponad trybem wybranym przez referencje obrazu/wideo i działają tylko z dostawcami deklarującymi maxInputAudios.

Mieszane referencje obrazów i wideo nie są stabilną wspólną powierzchnią możliwości. Preferuj jeden typ referencji na żądanie.

Fallback i typowane opcje

Niektóre kontrole możliwości są stosowane w warstwie fallbacku, a nie na granicy narzędzia, więc żądanie przekraczające limity głównego dostawcy może nadal zostać uruchomione u obsługującego fallbacku:

• Aktywny kandydat niedeklarujący maxInputAudios (lub deklarujący 0) jest pomijany, gdy żądanie zawiera referencje audio; próbowany jest następny kandydat.
• maxDurationSeconds aktywnego kandydata poniżej żądanego durationSeconds bez zadeklarowanej listy supportedDurationSeconds → pomijany.
• Żądanie zawiera providerOptions, a aktywny kandydat jawnie deklaruje typowany schemat providerOptions → pomijany, jeśli podane klucze nie znajdują się w schemacie lub typy wartości nie pasują. Dostawcy bez zadeklarowanego schematu otrzymują opcje bez zmian (zgodne wstecznie przekazanie). Dostawca może zrezygnować ze wszystkich opcji dostawcy przez zadeklarowanie pustego schematu (capabilities.providerOptions: {}), co powoduje takie samo pominięcie jak niezgodność typu.

Pierwszy powód pominięcia w żądaniu jest logowany na poziomie warn, aby operatorzy widzieli, kiedy ich główny dostawca został pominięty; kolejne pominięcia są logowane na poziomie debug, aby długie łańcuchy fallbacków pozostały ciche. Jeśli każdy kandydat zostanie pominięty, zagregowany błąd zawiera powód pominięcia dla każdego z nich.

Akcje

Wybór modelu

OpenClaw rozwiązuje model w tej kolejności:

1. Parametr narzędzia model - jeśli agent określi go w wywołaniu.
2. videoGenerationModel.primary z konfiguracji.
3. videoGenerationModel.fallbacks w kolejności.
4. Automatyczne wykrywanie - dostawcy z prawidłowym uwierzytelnieniem, zaczynając od bieżącego dostawcy domyślnego, a następnie pozostali dostawcy w kolejności alfabetycznej.

Jeśli dostawca zawiedzie, automatycznie próbowany jest następny kandydat. Jeśli wszyscy kandydaci zawiodą, błąd zawiera szczegóły każdej próby.

Ustaw agents.defaults.mediaGenerationAutoProviderFallback: false, aby używać tylko jawnych wpisów model, primary i fallbacks.

{  agents: {    defaults: {      videoGenerationModel: {        primary: "google/veo-3.1-fast-generate-preview",        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],      },    },  },}

Uwagi o dostawcach

Tryby możliwości dostawców

Wspólny kontrakt generowania wideo obsługuje możliwości specyficzne dla trybu zamiast wyłącznie płaskich limitów zbiorczych. Nowe implementacje dostawców powinny preferować jawne bloki trybów:

capabilities: {  generate: {    maxVideos: 1,    maxDurationSeconds: 10,    supportsResolution: true,  },  imageToVideo: {    enabled: true,    maxVideos: 1,    maxInputImages: 1,    maxInputImagesByModel: { "provider/reference-to-video": 9 },    maxDurationSeconds: 5,  },  videoToVideo: {    enabled: true,    maxVideos: 1,    maxInputVideos: 1,    maxDurationSeconds: 5,  },}

Płaskie pola zbiorcze, takie jak maxInputImages i maxInputVideos, nie wystarczają do deklarowania obsługi trybu transformacji. Dostawcy powinni jawnie deklarować generate, imageToVideo i videoToVideo, aby testy na żywo, testy kontraktu i wspólne narzędzie video_generate mogły deterministycznie weryfikować obsługę trybów.

Gdy jeden model u dostawcy ma szerszą obsługę wejść referencyjnych niż pozostałe, użyj maxInputImagesByModel, maxInputVideosByModel albo maxInputAudiosByModel zamiast podnosić limit dla całego trybu.

Testy na żywo

Opcjonalne pokrycie testami na żywo dla wspólnych dołączonych dostawców:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper repozytorium:

pnpm test:live:media video

Ten plik testów na żywo ładuje brakujące zmienne środowiskowe dostawców z ~/.profile, domyślnie preferuje klucze API live/env przed zapisanymi profilami uwierzytelniania i domyślnie uruchamia smoke test bezpieczny dla wydania:

• generate dla każdego dostawcy spoza FAL w przeglądzie.
• Jednosekundowy prompt z homarem.
• Limit operacji na dostawcę z OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (domyślnie 180000).

FAL jest opcjonalny, ponieważ opóźnienie kolejki po stronie dostawcy może zdominować czas wydania:

pnpm test:live:media video --video-providers fal

Ustaw OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, aby uruchamiać także zadeklarowane tryby transformacji, które wspólny przegląd może bezpiecznie wykonać z lokalnymi mediami:

• imageToVideo, gdy capabilities.imageToVideo.enabled.
• videoToVideo, gdy capabilities.videoToVideo.enabled i dostawca/model akceptuje lokalne wejście wideo oparte na buforze we wspólnym przeglądzie.

Obecnie wspólna ścieżka testów na żywo videoToVideo obejmuje runway tylko wtedy, gdy wybierzesz runway/gen4_aleph.

Konfiguracja

Ustaw domyślny model generowania wideo w konfiguracji OpenClaw:

{  agents: {    defaults: {      videoGenerationModel: {        primary: "qwen/wan2.6-t2v",        fallbacks: ["qwen/wan2.6-r2v-flash"],      },    },  },}

Albo przez CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

Powiązane

• Alibaba Model Studio
• Zadania w tle - śledzenie zadań dla asynchronicznego generowania wideo
• BytePlus
• ComfyUI
• Dokumentacja konfiguracji
• fal
• Google (Gemini)
• MiniMax
• Modele
• OpenAI
• Qwen
• Runway
• Together AI
• Omówienie narzędzi
• Vydra
• xAI