Medya anlama

OpenClaw, yanıt işlem hattı çalışmadan önce gelen medyayı özetleyebilir (görsel/ses/video). Yerel araçlar veya sağlayıcı anahtarları kullanılabilir olduğunda otomatik algılar ve devre dışı bırakılabilir ya da özelleştirilebilir. Anlama kapalıysa modeller yine özgün dosyaları/URL'leri her zamanki gibi alır.

Tedarikçiye özgü medya davranışı tedarikçi Plugin'leri tarafından kaydedilirken, OpenClaw çekirdeği paylaşılan tools.media yapılandırmasına, geri dönüş sırasına ve yanıt işlem hattı entegrasyonuna sahip olur.

Hedefler

• İsteğe bağlı: gelen medyayı daha hızlı yönlendirme + daha iyi komut ayrıştırma için kısa metne önceden sindirme.
• Özgün medya teslimini modele koruma (her zaman).
• Sağlayıcı API'lerini ve CLI geri dönüşlerini destekleme.
• Sıralı geri dönüşlü birden çok modele izin verme (hata/boyut/zaman aşımı).

Üst düzey davranış

Anlama başarısız olursa veya devre dışıysa yanıt akışı devam eder; özgün gövde + eklerle.

Yapılandırma özeti

tools.media, paylaşılan modelleri ve yetenek başına geçersiz kılmaları destekler:

{  tools: {    media: {      models: [        /* shared list */      ],      image: {        /* optional overrides */      },      audio: {        /* optional overrides */        echoTranscript: true,        echoFormat: '📝 "{transcript}"',      },      video: {        /* optional overrides */      },    },  },}

Model girdileri

Her models[] girdisi sağlayıcı veya CLI olabilir:

{  type: "provider", // default if omitted  provider: "openai",  model: "gpt-5.5",  prompt: "Describe the image in <= 500 chars.",  maxChars: 500,  maxBytes: 10485760,  timeoutSeconds: 60,  capabilities: ["image"], // optional, used for multi-modal entries  profile: "vision-profile",  preferredProfile: "vision-fallback",}

{  type: "cli",  command: "gemini",  args: [    "-m",    "gemini-3-flash",    "--allowed-tools",    "read_file",    "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",  ],  maxChars: 500,  maxBytes: 52428800,  timeoutSeconds: 120,  capabilities: ["video", "image"],}

Varsayılanlar ve sınırlar

Önerilen varsayılanlar:

• maxChars: görsel/video için 500 (kısa, komut dostu)
• maxChars: ses için ayarlanmamış (siz bir sınır belirlemezseniz tam döküm)
• maxBytes:
  • görsel: 10MB
  • ses: 20MB
  • video: 50MB

Medya anlamayı otomatik algılama (varsayılan)

tools.media.<capability>.enabled false olarak ayarlanmamışsa ve model yapılandırmadıysanız OpenClaw bu sırayla otomatik algılar ve ilk çalışan seçenekte durur:

Otomatik algılamayı devre dışı bırakmak için şunu ayarlayın:

{  tools: {    media: {      audio: {        enabled: false,      },    },  },}

Proxy ortam desteği (sağlayıcı modelleri)

Sağlayıcı tabanlı ses ve video medya anlama etkinleştirildiğinde OpenClaw, sağlayıcı HTTP çağrıları için standart giden proxy ortam değişkenlerini dikkate alır:

• HTTPS_PROXY
• HTTP_PROXY
• ALL_PROXY
• https_proxy
• http_proxy
• all_proxy

Proxy ortam değişkenleri ayarlanmamışsa medya anlama doğrudan çıkış kullanır. Proxy değeri hatalı biçimlendirilmişse OpenClaw bir uyarı kaydeder ve doğrudan getirmeye geri döner.

Yetenekler (isteğe bağlı)

capabilities ayarlarsanız girdi yalnızca bu medya türleri için çalışır. Paylaşılan listeler için OpenClaw varsayılanları çıkarabilir:

• openai, anthropic, minimax: görsel
• minimax-portal: görsel
• moonshot: görsel + video
• openrouter: görsel + ses
• google (Gemini API): görsel + ses + video
• qwen: görsel + video
• mistral: ses
• zai: görsel
• groq: ses
• xai: ses
• deepgram: ses
• Görsel yetenekli bir modele sahip herhangi bir models.providers.<id>.models[] kataloğu: görsel

CLI girdileri için şaşırtıcı eşleşmelerden kaçınmak üzere capabilities değerini açıkça ayarlayın. capabilities atlarsanız girdi, içinde göründüğü liste için uygundur.

Sağlayıcı destek matrisi (OpenClaw entegrasyonları)

Model seçimi kılavuzu

• Kalite ve güvenlik önemli olduğunda her medya yeteneği için kullanılabilir en güçlü en yeni nesil modeli tercih edin.
• Güvenilmeyen girdileri işleyen araç etkin ajanlar için eski/daha zayıf medya modellerinden kaçının.
• Kullanılabilirlik için yetenek başına en az bir geri dönüş tutun (kalite modeli + daha hızlı/daha ucuz model).
• CLI geri dönüşleri (whisper-cli, whisper, gemini), sağlayıcı API'leri kullanılamadığında yararlıdır.
• parakeet-mlx notu: --output-dir ile, çıktı biçimi txt olduğunda (veya belirtilmediğinde) OpenClaw <output-dir>/<media-basename>.txt okur; txt olmayan biçimler stdout'a geri döner.

Ek ilkesi

Yetenek başına attachments, hangi eklerin işleneceğini denetler:

mode: "all" olduğunda çıktılar [Image 1/2], [Audio 2/2] vb. olarak etiketlenir.

Yapılandırma örnekleri

{  tools: {    media: {      models: [        { provider: "openai", model: "gpt-5.5", capabilities: ["image"] },        {          provider: "google",          model: "gemini-3-flash-preview",          capabilities: ["image", "audio", "video"],        },        {          type: "cli",          command: "gemini",          args: [            "-m",            "gemini-3-flash",            "--allowed-tools",            "read_file",            "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",          ],          capabilities: ["image", "video"],        },      ],      audio: {        attachments: { mode: "all", maxAttachments: 2 },      },      video: {        maxChars: 500,      },    },  },}

{  tools: {    media: {      audio: {        enabled: true,        models: [          { provider: "openai", model: "gpt-4o-mini-transcribe" },          {            type: "cli",            command: "whisper",            args: ["--model", "base", "{{MediaPath}}"],          },        ],      },      video: {        enabled: true,        maxChars: 500,        models: [          { provider: "google", model: "gemini-3-flash-preview" },          {            type: "cli",            command: "gemini",            args: [              "-m",              "gemini-3-flash",              "--allowed-tools",              "read_file",              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",            ],          },        ],      },    },  },}

{  tools: {    media: {      image: {        enabled: true,        maxBytes: 10485760,        maxChars: 500,        models: [          { provider: "openai", model: "gpt-5.5" },          { provider: "anthropic", model: "claude-opus-4-6" },          {            type: "cli",            command: "gemini",            args: [              "-m",              "gemini-3-flash",              "--allowed-tools",              "read_file",              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",            ],          },        ],      },    },  },}

{  tools: {    media: {      image: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },      audio: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },      video: {        models: [          {            provider: "google",            model: "gemini-3.1-pro-preview",            capabilities: ["image", "video", "audio"],          },        ],      },    },  },}

Durum çıktısı

Medya anlama çalıştığında /status kısa bir özet satırı içerir:

📎 Media: image ok (openai/gpt-5.4) · audio skipped (maxBytes)

Bu, uygun olduğunda yetenek başına sonuçları ve seçilen sağlayıcıyı/modeli gösterir.

Notlar

• Anlama en iyi çaba ilkesine göre çalışır. Hatalar yanıtları engellemez.
• Anlama devre dışı olsa bile ekler modellere aktarılmaya devam eder.
• Anlamanın nerede çalışacağını sınırlamak için scope kullanın (ör. yalnızca DM'ler).

İlgili

• Yapılandırma
• Görüntü ve medya desteği