Generowanie muzyki

Prompt generowania muzyki. Wymagany dla action: "generate".

"status" zwraca bieżące zadanie sesji; "list" sprawdza dostawców.

Nadpisanie dostawcy/modelu (np. google/lyria-3-pro-preview, comfy/workflow).

Opcjonalny tekst utworu, gdy dostawca obsługuje jawne wejście tekstu utworu.

Zażądaj wyniku wyłącznie instrumentalnego, gdy dostawca to obsługuje.

Pojedyncza ścieżka lub URL obrazu referencyjnego.

Wiele obrazów referencyjnych (do 10 u obsługujących dostawców).

Docelowy czas trwania w sekundach, gdy dostawca obsługuje wskazówki dotyczące czasu trwania.

Wskazówka formatu wyjściowego, gdy dostawca ją obsługuje.

OPENCLAW_DOCS_MARKER:paramOpen:IHBhdGg9InRpbWVvdXRNcyIgdHlwZT0ibnVtYmVyIg Opcjonalny limit czasu żądania dostawcy w milisekundach. Gdy zostanie pominięty, OpenClaw używa agents.defaults.musicGenerationModel.timeoutMs, jeśli jest skonfigurowane. Wartości poniżej 10000ms są podnoszone do 10000ms i raportowane w wyniku narzędzia. OPENCLAW_DOCS_MARKER:paramClose:

Zachowanie asynchroniczne

Generowanie muzyki oparte na sesji działa jako zadanie w tle:

• Zadanie w tle: music_generate tworzy zadanie w tle, od razu zwraca odpowiedź uruchomione/zadanie i później publikuje gotowy utwór w kolejnej wiadomości agenta.
• Zapobieganie duplikatom: gdy zadanie ma stan queued lub running, późniejsze wywołania music_generate w tej samej sesji zwracają status zadania zamiast uruchamiać kolejne generowanie. Użyj action: "status", aby sprawdzić to jawnie.
• Wyszukiwanie statusu: openclaw tasks list lub openclaw tasks show <taskId> sprawdza statusy w kolejce, uruchomione i końcowe.
• Wybudzenie po ukończeniu: OpenClaw wstrzykuje wewnętrzne zdarzenie ukończenia z powrotem do tej samej sesji, aby model mógł sam napisać dalszą wiadomość widoczną dla użytkownika.
• Wskazówka promptu: późniejsze tury użytkownika/ręczne w tej samej sesji dostają małą wskazówkę runtime, gdy zadanie muzyczne jest już w toku, aby model nie wywoływał bezrefleksyjnie music_generate ponownie.
• Awaryjnie bez sesji: bezpośrednie/lokalne konteksty bez rzeczywistej sesji agenta działają inline i zwracają końcowy wynik audio w tej samej turze.

Cykl życia zadania

Sprawdź status z CLI:

openclaw tasks listopenclaw tasks show <taskId>openclaw tasks cancel <taskId>

Konfiguracja

Wybór modelu

{  agents: {    defaults: {      musicGenerationModel: {        primary: "google/lyria-3-clip-preview",        fallbacks: ["minimax/music-2.6"],      },    },  },}

Kolejność wyboru dostawców

OpenClaw próbuje dostawców w tej kolejności:

1. Parametr model z wywołania narzędzia (jeśli agent go określi).
2. musicGenerationModel.primary z konfiguracji.
3. musicGenerationModel.fallbacks w kolejności.
4. Automatyczne wykrywanie używające tylko domyślnych dostawców opartych na uwierzytelnianiu:
   • najpierw bieżący dostawca domyślny;
   • pozostali zarejestrowani dostawcy generowania muzyki w kolejności identyfikatorów dostawców.

Jeśli dostawca zawiedzie, automatycznie próbowany jest następny kandydat. Jeśli wszystkie zawiodą, błąd zawiera szczegóły z każdej próby.

Ustaw agents.defaults.mediaGenerationAutoProviderFallback: false, aby używać tylko jawnych wpisów model, primary i fallbacks.

Uwagi o dostawcach

Wybór właściwej ścieżki

• Oparta na współdzielonym dostawcy, gdy chcesz wyboru modelu, przełączania awaryjnego dostawców oraz wbudowanego asynchronicznego przepływu zadań/statusu.
• Ścieżka pluginu (ComfyUI), gdy potrzebujesz niestandardowego grafu workflow lub dostawcy, który nie jest częścią współdzielonej dołączonej funkcji muzyki.

Jeśli debugujesz zachowanie specyficzne dla ComfyUI, zobacz ComfyUI. Jeśli debugujesz zachowanie współdzielonego dostawcy, zacznij od Google (Gemini) lub MiniMax.

Tryby funkcji dostawcy

Wspólny kontrakt generowania muzyki obsługuje jawne deklaracje trybów:

• generate dla generowania wyłącznie z promptu.
• edit, gdy żądanie zawiera jeden lub więcej obrazów referencyjnych.

Nowe implementacje dostawców powinny preferować jawne bloki trybu:

capabilities: {  generate: {    maxTracks: 1,    supportsLyrics: true,    supportsFormat: true,  },  edit: {    enabled: true,    maxTracks: 1,    maxInputImages: 1,    supportsFormat: true,  },}

Starsze płaskie pola, takie jak maxInputImages, supportsLyrics i supportsFormat, nie wystarczają do reklamowania obsługi edycji. Dostawcy powinni deklarować generate i edit jawnie, aby testy live, testy kontraktu i współdzielone narzędzie music_generate mogły deterministycznie weryfikować obsługę trybu.

Testy live

Opcjonalne pokrycie live dla współdzielonych dołączonych dostawców:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper repozytorium:

pnpm test:live:media music

Ten plik testów na żywo ładuje brakujące zmienne środowiskowe dostawców z ~/.profile, domyślnie preferuje klucze API z live/env przed zapisanymi profilami uwierzytelniania i uruchamia zarówno pokrycie generate, jak i zadeklarowane pokrycie edit, gdy dostawca włącza tryb edycji. Dzisiejszy zakres pokrycia:

• google: generate oraz edit
• minimax: tylko generate
• comfy: oddzielne pokrycie Comfy na żywo, nie współdzielony przegląd dostawców

Opcjonalne pokrycie na żywo dla dołączonej ścieżki muzycznej ComfyUI:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Plik testów Comfy na żywo obejmuje również przepływy pracy obrazów i wideo comfy, gdy te sekcje są skonfigurowane.

Powiązane

• Zadania w tle — śledzenie zadań dla odłączonych uruchomień music_generate
• ComfyUI
• Dokumentacja konfiguracji — konfiguracja musicGenerationModel
• Google (Gemini)
• MiniMax
• Modele — konfiguracja modeli i przełączanie awaryjne
• Przegląd narzędzi