การแปลงข้อความเป็นเสียงพูด

OpenClaw แปลงการตอบกลับขาออกเป็นเสียงผ่าน ผู้ให้บริการเสียงพูด 14 ราย: ข้อความเสียงแบบเนทีฟบน Feishu, Matrix, Telegram และ WhatsApp; ไฟล์แนบเสียง บนแพลตฟอร์มอื่นทั้งหมด; และสตรีม PCM/Ulaw สำหรับระบบโทรศัพท์และ Talk

TTS คือส่วนเอาต์พุตเสียงพูดของโหมด stt-tts ของ Talk (talk.speak เรียกใช้ เส้นทางการสังเคราะห์เดียวกันนี้) เซสชัน Talk แบบ realtime ที่เป็นเนทีฟของผู้ให้บริการจะสังเคราะห์ เสียงพูดภายในผู้ให้บริการแบบเรียลไทม์แทน ส่วนเซสชัน transcription จะไม่ สังเคราะห์การตอบกลับด้วยเสียงของผู้ช่วยเลย

เริ่มต้นอย่างรวดเร็ว

{  messages: {    tts: {      auto: "always",      provider: "elevenlabs",    },  },}

ผู้ให้บริการที่รองรับ

หากกำหนดค่าผู้ให้บริการหลายราย ระบบจะใช้รายที่เลือกก่อน และใช้ รายอื่นเป็นตัวเลือกสำรอง การสรุปอัตโนมัติใช้ summaryModel (หรือ agents.defaults.model.primary) ดังนั้นผู้ให้บริการรายนั้นต้องผ่านการยืนยันตัวตนด้วย หากคุณยังเปิดใช้การสรุปไว้

การกำหนดค่า

การกำหนดค่า TTS อยู่ภายใต้ messages.tts ใน ~/.openclaw/openclaw.json เลือก พรีเซ็ตและปรับบล็อกผู้ให้บริการให้เหมาะสม ฟิลด์ speakerVoice/speakerVoiceId ที่แสดงด้านล่างเป็นฟิลด์มาตรฐาน ส่วนชื่อฟิลด์ voice/voiceId/ voiceName ของผู้ให้บริการแต่ละรายยังคงใช้ได้ในฐานะนามแฝงแบบเดิม

{messages: {tts: {  auto: "always",  provider: "azure-speech",  providers: {    "azure-speech": {      apiKey: "${AZURE_SPEECH_KEY}",      region: "eastus",      speakerVoice: "en-US-JennyNeural",      lang: "en-US",      outputFormat: "audio-24khz-48kbitrate-mono-mp3",      voiceNoteOutputFormat: "ogg-24khz-16bit-mono-opus",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "elevenlabs",  providers: {    elevenlabs: {      apiKey: "${ELEVENLABS_API_KEY}",      model: "eleven_multilingual_v2",      speakerVoiceId: "EXAVITQu4vr4xnSDxMaL",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "google",  providers: {    google: {      apiKey: "${GEMINI_API_KEY}",      model: "gemini-3.1-flash-tts-preview",      speakerVoice: "Kore",      // พรอมต์รูปแบบภาษาธรรมชาติที่เลือกใช้ได้:      // audioProfile: "พูดด้วยน้ำเสียงสงบแบบผู้ดำเนินรายการพอดแคสต์",      // speakerName: "Alex",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "gradium",  providers: {    gradium: {      apiKey: "${GRADIUM_API_KEY}",      speakerVoiceId: "YTpq7expH9539ERJ",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "inworld",  providers: {    inworld: {      apiKey: "${INWORLD_API_KEY}",      modelId: "inworld-tts-1.5-max",      speakerVoiceId: "Sarah",      temperature: 0.7,    },  },},},}

{messages: {tts: {  auto: "always",  provider: "tts-local-cli",  providers: {    "tts-local-cli": {      command: "say",      args: ["-o", "{{OutputPath}}", "{{Text}}"],      outputFormat: "wav",      timeoutMs: 120000,    },  },},},}

{messages: {tts: {  auto: "always",  provider: "microsoft",  providers: {    microsoft: {      enabled: true,      speakerVoice: "en-US-MichelleNeural",      lang: "en-US",      outputFormat: "audio-24khz-48kbitrate-mono-mp3",      rate: "+0%",      pitch: "+0%",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "minimax",  providers: {    minimax: {      apiKey: "${MINIMAX_API_KEY}",      model: "speech-2.8-hd",      speakerVoiceId: "English_expressive_narrator",      speed: 1.0,      vol: 1.0,      pitch: 0,    },  },},},}

{messages: {tts: {  auto: "always",  provider: "openai",  summaryModel: "openai/gpt-4.1-mini",  modelOverrides: { enabled: true },  providers: {    openai: {      apiKey: "${OPENAI_API_KEY}",      model: "gpt-4o-mini-tts",      speakerVoice: "alloy",    },    elevenlabs: {      apiKey: "${ELEVENLABS_API_KEY}",      model: "eleven_multilingual_v2",      speakerVoiceId: "EXAVITQu4vr4xnSDxMaL",      voiceSettings: { stability: 0.5, similarityBoost: 0.75, style: 0.0, useSpeakerBoost: true, speed: 1.0 },      applyTextNormalization: "auto",      languageCode: "en",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "openrouter",  providers: {    openrouter: {      apiKey: "${OPENROUTER_API_KEY}",      model: "hexgrad/kokoro-82m",      speakerVoice: "af_alloy",      responseFormat: "mp3",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "volcengine",  providers: {    volcengine: {      apiKey: "${VOLCENGINE_TTS_API_KEY}",      resourceId: "seed-tts-1.0",      speakerVoice: "en_female_anna_mars_bigtts",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "xai",  providers: {    xai: {      apiKey: "${XAI_API_KEY}",      speakerVoiceId: "eve",      language: "en",      responseFormat: "mp3",    },  },},},}

{messages: {tts: {  auto: "always",  provider: "xiaomi",  providers: {    xiaomi: {      apiKey: "${XIAOMI_API_KEY}",      model: "mimo-v2.5-tts",      speakerVoice: "mimo_default",      format: "mp3",    },  },},},}

สำหรับ Xiaomi mimo-v2.5-tts-voicedesign ให้ละ speakerVoice และตั้งค่า style เป็น พรอมต์ออกแบบเสียง OpenClaw จะส่งพรอมต์นั้นเป็นข้อความ TTS user และจะไม่ส่ง audio.voice สำหรับโมเดล voicedesign

การกำหนดค่าเสียงเฉพาะเอเจนต์

ใช้ agents.list[].tts เมื่อเอเจนต์หนึ่งควรพูดโดยใช้ผู้ให้บริการ เสียง โมเดล บุคลิก หรือโหมด TTS อัตโนมัติที่แตกต่างกัน บล็อกเอเจนต์จะผสานแบบลึกทับ messages.tts ดังนั้นข้อมูลประจำตัวของผู้ให้บริการจึงยังคงอยู่ในการกำหนดค่าผู้ให้บริการส่วนกลางได้:

{  messages: {    tts: {      auto: "always",      provider: "elevenlabs",      providers: {        elevenlabs: { apiKey: "${ELEVENLABS_API_KEY}", model: "eleven_multilingual_v2" },      },    },  },  agents: {    list: [      {        id: "reader",        tts: {          providers: {            elevenlabs: { speakerVoiceId: "EXAVITQu4vr4xnSDxMaL" },          },        },      },    ],  },}

หากต้องการตรึงบุคลิกเฉพาะเอเจนต์ ให้ตั้งค่า agents.list[].tts.persona ควบคู่กับการกำหนดค่า ผู้ให้บริการ ซึ่งจะมีผลแทน messages.tts.persona ส่วนกลางสำหรับเอเจนต์นั้นเท่านั้น

ลำดับความสำคัญสำหรับการตอบกลับอัตโนมัติ /tts audio, /tts status และ เครื่องมือเอเจนต์ tts:

1. messages.tts
2. agents.list[].tts ที่ใช้งานอยู่
3. การกำหนดค่าแทนของช่อง เมื่อช่องรองรับ channels.<channel>.tts
4. การกำหนดค่าแทนของบัญชี เมื่อช่องส่งผ่าน channels.<channel>.accounts.<id>.tts
5. ค่ากำหนด /tts ภายในเครื่องสำหรับโฮสต์นี้
6. คำสั่ง [[tts:...]] แบบอินไลน์ เมื่อเปิดใช้การกำหนดค่าแทนโดยโมเดล

การกำหนดค่าแทนของช่องและบัญชีใช้รูปแบบเดียวกับ messages.tts และ ผสานแบบลึกทับเลเยอร์ก่อนหน้า ดังนั้นข้อมูลประจำตัวของผู้ให้บริการที่ใช้ร่วมกันจึงยังคงอยู่ใน messages.tts ได้ ขณะที่ช่องหรือบัญชีบอตเปลี่ยนเฉพาะเสียงผู้พูด โมเดล บุคลิก หรือโหมดอัตโนมัติ:

{  messages: {    tts: {      provider: "openai",      providers: {        openai: { apiKey: "${OPENAI_API_KEY}", model: "gpt-4o-mini-tts" },      },    },  },  channels: {    feishu: {      accounts: {        english: {          tts: {            providers: {              openai: { speakerVoice: "shimmer" },            },          },        },      },    },  },}

บุคลิก

บุคลิก คืออัตลักษณ์การพูดที่คงที่ ซึ่งสามารถนำไปใช้กับผู้ให้บริการต่าง ๆ ได้อย่างแน่นอน บุคลิกสามารถกำหนดผู้ให้บริการที่ต้องการ ระบุเจตนาของพรอมต์ที่ไม่ขึ้นกับผู้ให้บริการ และเก็บการเชื่อมโยงเฉพาะผู้ให้บริการสำหรับเสียง โมเดล เทมเพลตพรอมต์ ซีด และการตั้งค่าเสียง

บุคลิกขั้นต่ำ

{  messages: {    tts: {      auto: "always",      persona: "narrator",      personas: {        narrator: {          label: "ผู้บรรยาย",          provider: "elevenlabs",          providers: {            elevenlabs: {              speakerVoiceId: "EXAVITQu4vr4xnSDxMaL",              modelId: "eleven_multilingual_v2",            },          },        },      },    },  },}

บุคลิกแบบเต็ม (พรอมต์ที่ไม่ขึ้นกับผู้ให้บริการ)

{  messages: {    tts: {      auto: "always",      persona: "alfred",      personas: {        alfred: {          label: "Alfred",          description: "ผู้บรรยายแบบพ่อบ้านชาวอังกฤษที่สุขุม อบอุ่น",          provider: "google",          fallbackPolicy: "preserve-persona",          prompt: {            profile: "พ่อบ้านชาวอังกฤษผู้ปราดเปรื่อง สุขุม มีไหวพริบ อบอุ่น มีเสน่ห์ แสดงอารมณ์อย่างชัดเจน และไม่พูดแบบทั่วไป",            scene: "ห้องทำงานเงียบสงบยามดึก การบรรยายผ่านไมโครโฟนระยะใกล้สำหรับผู้ควบคุมที่ไว้วางใจ",            sampleContext: "ผู้พูดกำลังตอบคำขอทางเทคนิคส่วนตัวอย่างกระชับ มั่นใจ และอบอุ่นแบบสุขุม",            style: "ประณีต เรียบขรึม และแฝงความขบขันเล็กน้อย",            accent: "ภาษาอังกฤษสำเนียงบริติช",            pacing: "ดำเนินจังหวะอย่างพอดี พร้อมเว้นช่วงสั้น ๆ เพื่อสร้างอารมณ์",            constraints: ["อย่าอ่านค่าการกำหนดค่าออกเสียง", "อย่าอธิบายบุคลิก"],          },          providers: {            google: {              model: "gemini-3.1-flash-tts-preview",              speakerVoice: "Algieba",              promptTemplate: "audio-profile-v1",            },            openai: { model: "gpt-4o-mini-tts", speakerVoice: "cedar" },            elevenlabs: {              speakerVoiceId: "voice_id",              modelId: "eleven_multilingual_v2",              seed: 42,              voiceSettings: {                stability: 0.65,                similarityBoost: 0.8,                style: 0.25,                useSpeakerBoost: true,                speed: 0.95,              },            },          },        },      },    },  },}

การเลือกบุคลิก

บุคลิกที่ใช้งานอยู่จะถูกเลือกอย่างแน่นอน:

1. ค่ากำหนด /tts persona <id> ภายในเครื่อง หากตั้งไว้
2. messages.tts.persona หากตั้งไว้
3. ไม่มีบุคลิก

การเลือกผู้ให้บริการจะพิจารณาค่าที่ระบุตรงก่อน:

1. การกำหนดค่าแทนโดยตรง (CLI, Gateway, Talk, คำสั่ง TTS ที่อนุญาต)
2. ค่ากำหนด /tts provider <id> ภายในเครื่อง
3. provider ของบุคลิกที่ใช้งานอยู่
4. messages.tts.provider
5. การเลือกอัตโนมัติจากรีจิสทรี

สำหรับการลองใช้ผู้ให้บริการแต่ละครั้ง OpenClaw จะผสานการกำหนดค่าตามลำดับนี้:

1. messages.tts.providers.<id>
2. messages.tts.personas.<persona>.providers.<id>
3. การกำหนดค่าแทนจากคำขอที่เชื่อถือได้
4. การกำหนดค่าแทนจากคำสั่ง TTS ที่โมเดลสร้างและได้รับอนุญาต

วิธีที่ผู้ให้บริการใช้พรอมต์บุคลิก

ฟิลด์พรอมต์บุคลิก (profile, scene, sampleContext, style, accent, pacing, constraints) ไม่ขึ้นกับผู้ให้บริการ ผู้ให้บริการแต่ละรายจะตัดสินใจว่าจะ ใช้ฟิลด์เหล่านี้อย่างไร:

นโยบายการใช้ตัวเลือกสำรอง

fallbackPolicy ควบคุมการทำงานเมื่อบุคลิก ไม่มีการเชื่อมโยง สำหรับ ผู้ให้บริการที่กำลังลองใช้:

คำขอ TTS ทั้งหมดจะล้มเหลวเฉพาะเมื่อผู้ให้บริการที่ลองใช้ ทุกราย ถูกข้าม หรือล้มเหลว

การเลือกผู้ให้บริการของเซสชัน Talk มีขอบเขตเฉพาะเซสชัน ไคลเอนต์ Talk ควรเลือก รหัสผู้ให้บริการ รหัสโมเดล รหัสเสียง และโลแคลจาก talk.catalog แล้วส่ง ค่าเหล่านั้นผ่านเซสชัน Talk หรือคำขอส่งต่อ การเปิดเซสชันเสียงไม่ควร แก้ไข messages.tts หรือค่าเริ่มต้นของผู้ให้บริการ Talk ส่วนกลาง

คำสั่งที่ขับเคลื่อนโดยโมเดล

ตามค่าเริ่มต้น ผู้ช่วย สามารถ สร้างคำสั่ง [[tts:...]] เพื่อกำหนดค่าแทน เสียง โมเดล หรือความเร็วสำหรับการตอบกลับครั้งเดียว รวมถึงบล็อก [[tts:text]]...[[/tts:text]] ซึ่งเป็นทางเลือกสำหรับสัญญาณแสดงอารมณ์ที่ควรปรากฏ ในเสียงเท่านั้น:

จัดให้แล้ว [[tts:speakerVoiceId=pMsXgVXv3BLzUgSXRplE model=eleven_v3 speed=1.1]][[tts:text]](หัวเราะ) อ่านเพลงอีกครั้งหนึ่ง[[/tts:text]]

เมื่อ messages.tts.auto เป็น "tagged" จำเป็นต้องมีคำสั่ง เพื่อเรียกใช้ เสียง การส่งมอบบล็อกแบบสตรีมจะลบคำสั่งออกจากข้อความที่มองเห็นได้ก่อนที่ ช่องจะได้รับ แม้คำสั่งจะถูกแบ่งอยู่ในบล็อกที่ต่อเนื่องกันก็ตาม

provider=... จะถูกละเว้น เว้นแต่ modelOverrides.allowProvider: true เมื่อ การตอบกลับประกาศ provider=... คีย์อื่นในคำสั่งนั้นจะถูกแยกวิเคราะห์ โดยผู้ให้บริการรายนั้นเท่านั้น คีย์ที่ไม่รองรับจะถูกลบและรายงานเป็นคำเตือน ของคำสั่ง TTS

คีย์คำสั่งที่ใช้ได้:

• provider (รหัสผู้ให้บริการที่ลงทะเบียน ต้องใช้ allowProvider: true)
• speakerVoice / speakerVoiceId (นามแฝงเดิม: voice, voiceName, voice_name, google_voice, voiceId)
• model / google_model
• stability, similarityBoost, style, speed, useSpeakerBoost
• vol / volume (ระดับเสียง MiniMax, (0, 10])
• pitch (ระดับเสียงสูงต่ำแบบจำนวนเต็มของ MiniMax ตั้งแต่ −12 ถึง 12 โดยค่าทศนิยมจะถูกตัดทิ้ง)
• emotion (แท็กอารมณ์ของ Volcengine)
• applyTextNormalization (auto|on|off)
• languageCode (ISO 639-1)
• seed

ปิดใช้การกำหนดค่าแทนโดยโมเดลทั้งหมด:

{ messages: { tts: { modelOverrides: { enabled: false } } } }

อนุญาตให้สลับผู้ให้บริการโดยยังคงกำหนดค่าตัวเลือกอื่นได้:

{ messages: { tts: { modelOverrides: { enabled: true, allowProvider: true, allowSeed: false } } } }

คำสั่งเครื่องหมายทับ

คำสั่งเดียว /tts บน Discord นั้น OpenClaw จะลงทะเบียน /voice ด้วย เนื่องจาก /tts เป็นคำสั่งในตัวของ Discord โดยข้อความ /tts ... ยังคงใช้ได้

/tts off | on | status/tts chat on | off | default/tts latest/tts provider <id>/tts persona <id> | off/tts limit <chars>/tts summary off/tts audio <text>

หมายเหตุเกี่ยวกับการทำงาน:

• /tts on เขียนค่ากำหนด TTS ภายในเครื่องไปยัง always; /tts off เขียนค่าไปยัง off
• /tts chat on|off|default เขียนการกำหนดค่าแทน TTS อัตโนมัติที่มีขอบเขตเฉพาะเซสชันสำหรับแชตปัจจุบัน
• /tts persona <id> เขียนค่ากำหนดบุคลิกภายในเครื่อง ส่วน /tts persona off จะล้างค่า
• /tts latest อ่านการตอบกลับล่าสุดของผู้ช่วยจากบทถอดเสียงของเซสชันปัจจุบันและส่งเป็นเสียงหนึ่งครั้ง โดยเก็บเฉพาะแฮชของการตอบกลับนั้นไว้ในรายการเซสชันเพื่อป้องกันการส่งเสียงซ้ำ
• /tts audio สร้างการตอบกลับด้วยเสียงแบบครั้งเดียว (ไม่ เปิดหรือปิด TTS)
• /tts limit <chars> ยอมรับค่า 100–4096 (4096 คือค่าสูงสุดของคำบรรยาย/ข้อความ Telegram) โดยค่าที่อยู่นอกช่วงนี้จะถูกปฏิเสธ
• limit และ summary จะถูกเก็บไว้ใน ค่ากำหนดภายในเครื่อง ไม่ใช่การกำหนดค่าหลัก
• /tts status รวมข้อมูลวินิจฉัยการใช้ตัวเลือกสำรองสำหรับการลองครั้งล่าสุด ได้แก่ Fallback: <primary> -> <used>, Attempts: ... และรายละเอียดของแต่ละการลอง (provider:outcome(reasonCode) latency)
• /status แสดงโหมด TTS ที่ใช้งานอยู่ พร้อมผู้ให้บริการ โมเดล เสียง และข้อมูลเมตาของปลายทางแบบกำหนดเองที่ผ่านการกรองแล้วเมื่อเปิดใช้ TTS

ค่ากำหนดเฉพาะผู้ใช้

คำสั่งเครื่องหมายทับจะเขียนการกำหนดค่าแทนภายในเครื่องไปยัง prefsPath ค่าเริ่มต้นคือ ~/.openclaw/settings/tts.json สามารถกำหนดค่าแทนด้วยตัวแปรสภาพแวดล้อม OPENCLAW_TTS_PREFS หรือ messages.tts.prefsPath

ค่าเหล่านี้จะแทนที่การกำหนดค่าที่มีผลจาก messages.tts รวมกับบล็อก agents.list[].tts ที่ใช้งานอยู่สำหรับโฮสต์นั้น

รูปแบบเอาต์พุต

การส่งเสียง TTS ขับเคลื่อนตามความสามารถของช่องทาง Plugin ของช่องทางจะประกาศ ว่า TTS แบบเสียงพูดควรขอเป้าหมาย voice-note แบบเนทีฟจากผู้ให้บริการหรือ คงการสังเคราะห์ audio-file ตามปกติไว้ และช่องทางจะแปลงรหัส เอาต์พุตที่ไม่ใช่แบบเนทีฟก่อนส่งหรือไม่

หมายเหตุแยกตามผู้ให้บริการ:

• การแปลงรหัสของ Feishu / WhatsApp: เมื่อการตอบกลับด้วยข้อความเสียงมาในรูปแบบ MP3/WebM/WAV/M4A หรือไฟล์อื่นที่น่าจะเป็นไฟล์เสียง Plugin ของช่องทางจะแปลงรหัสเป็น Ogg/Opus 48 kHz ด้วย ffmpeg (libopus, 64 kbps) ก่อนส่งข้อความเสียงแบบเนทีฟ WhatsApp ส่งผลลัพธ์ผ่านเพย์โหลด audio ของ Baileys พร้อม ptt: true และ audio/ogg; codecs=opus หากการแปลงรหัสล้มเหลว: Feishu จะดักจับข้อผิดพลาดและเปลี่ยนไปส่งไฟล์ต้นฉบับเป็นไฟล์แนบทั่วไป ส่วน WhatsApp ไม่มีทางเลือกสำรอง ดังนั้นการส่งจะล้มเหลวแทนการโพสต์เพย์โหลด PTT ที่ไม่เข้ากัน
• MiniMax: MP3 (โมเดล speech-2.8-hd, อัตราการสุ่มตัวอย่าง 32 kHz) สำหรับไฟล์แนบเสียงทั่วไป และจะแปลงรหัสเป็น Opus 48 kHz ด้วย ffmpeg สำหรับเป้าหมายข้อความเสียงที่ช่องทางประกาศ
• Xiaomi MiMo: ใช้ MP3 เป็นค่าเริ่มต้น หรือ WAV เมื่อตั้งค่าไว้ และจะแปลงรหัสเป็น Opus 48 kHz ด้วย ffmpeg สำหรับเป้าหมายข้อความเสียงที่ช่องทางประกาศ
• CLI ภายในเครื่อง: ใช้ outputFormat ที่กำหนดค่าไว้ เป้าหมายข้อความเสียงจะถูกแปลงเป็น Ogg/Opus และเอาต์พุตโทรศัพท์จะถูกแปลงเป็น PCM ดิบแบบโมโน 16 kHz ด้วย ffmpeg
• Google Gemini: ส่งคืน PCM ดิบ 24 kHz OpenClaw จะห่อหุ้มเป็น WAV สำหรับไฟล์แนบเสียง แปลงรหัสเป็น Opus 48 kHz สำหรับเป้าหมายข้อความเสียง และส่งคืน PCM โดยตรงสำหรับ Talk/โทรศัพท์
• Gradium: WAV สำหรับไฟล์แนบเสียง, Opus สำหรับเป้าหมายข้อความเสียง และ ulaw_8000 ที่ 8 kHz สำหรับโทรศัพท์
• Inworld: MP3 สำหรับไฟล์แนบเสียงทั่วไป, OGG_OPUS แบบเนทีฟสำหรับเป้าหมายข้อความเสียง และ PCM ดิบที่ 22050 Hz สำหรับ Talk/โทรศัพท์
• xAI: ใช้ MP3 เป็นค่าเริ่มต้น การสังเคราะห์ไฟล์เสียงอาจใช้ mp3, wav, pcm, mulaw หรือ alaw สำหรับทั้งเอาต์พุตแบบบัฟเฟอร์และแบบสตรีม เป้าหมายข้อความเสียงใช้ MP3 สำหรับการสตรีมและทางเลือกสำรองแบบบัฟเฟอร์ เนื่องจากเอาต์พุต pcm, mulaw และ alaw ของ xAI เป็นเสียงดิบที่ไม่มีส่วนหัว การสังเคราะห์แบบบัฟเฟอร์ใช้ปลายทาง REST แบบแบตช์ /v1/tts ของ xAI ส่วน textToSpeechStream ใช้ wss://api.x.ai/v1/tts แบบเนทีฟ นี่ไม่ใช่สัญญาเสียงแบบเรียลไทม์ ไม่รองรับรูปแบบข้อความเสียง Opus แบบเนทีฟ
• Microsoft: ใช้ microsoft.outputFormat (ค่าเริ่มต้น audio-24khz-48kbitrate-mono-mp3)
  • ทรานสปอร์ตที่รวมมาให้รองรับ outputFormat แต่บริการไม่ได้มีทุกรูปแบบให้ใช้งาน
  • ค่ารูปแบบเอาต์พุตเป็นไปตามรูปแบบเอาต์พุตของ Microsoft Speech (รวมถึง Ogg/WebM Opus)
  • Telegram sendVoice รองรับ OGG/MP3/M4A ให้ใช้ OpenAI/ElevenLabs หากต้องการรับประกันข้อความเสียงแบบ Opus
  • หากรูปแบบเอาต์พุตของ Microsoft ที่กำหนดค่าไว้ล้มเหลว OpenClaw จะลองใหม่ด้วย MP3
  • เมื่อไม่ได้ตั้งค่าการแทนที่เสียงอย่างชัดเจนและใช้เสียงภาษาอังกฤษเริ่มต้น OpenClaw จะสลับเป็นเสียงนิวรัลภาษาจีนโดยอัตโนมัติ (zh-CN-XiaoxiaoNeural, โลเคล zh-CN) หากข้อความตอบกลับมีอักขระ CJK เป็นส่วนใหญ่

รูปแบบเอาต์พุตของ OpenAI และ ElevenLabs จะคงที่ตามช่องทางดังที่ระบุไว้ข้างต้น

ลักษณะการทำงานของ auto-TTS

เมื่อเปิดใช้งาน messages.tts.auto OpenClaw จะ:

• ข้าม TTS หากการตอบกลับมีสื่อแบบมีโครงสร้างอยู่แล้ว
• ข้ามการตอบกลับที่สั้นมาก (น้อยกว่า 10 อักขระ)
• สรุปการตอบกลับที่ยาวเมื่อเปิดใช้การสรุป โดยใช้ summaryModel (หรือ agents.defaults.model.primary)
• แนบเสียงที่สร้างขึ้นกับการตอบกลับ
• ใน mode: "final" จะยังคงส่ง TTS แบบเสียงเท่านั้นสำหรับการตอบกลับสุดท้ายแบบสตรีม หลังจากสตรีมข้อความเสร็จสิ้น สื่อที่สร้างขึ้นจะผ่านการปรับสื่อของช่องทาง แบบเดียวกับไฟล์แนบการตอบกลับทั่วไป

หากการตอบกลับยาวเกิน maxLength OpenClaw จะไม่ข้ามเสียงไปเลย:

• เปิดการสรุป (ค่าเริ่มต้น) และมีโมเดลสรุปให้ใช้งาน: สรุป ข้อความให้เหลือประมาณ maxLength อักขระ แล้วสังเคราะห์เสียงจากบทสรุป
• ปิดการสรุป, การสรุปล้มเหลว หรือไม่มีคีย์ API สำหรับ โมเดลสรุป: ตัดทอนข้อความให้เหลือ maxLength อักขระ แล้วสังเคราะห์เสียงจาก ข้อความที่ตัดทอนแล้ว

การตอบกลับ -> เปิดใช้ TTS หรือไม่?  ไม่  -> ส่งข้อความ  ใช่ -> มีสื่อ / สั้นหรือไม่?          ใช่ -> ส่งข้อความ          ไม่  -> ความยาว > ขีดจำกัดหรือไม่?                   ไม่  -> TTS -> แนบเสียง                   ใช่ -> เปิดใช้การสรุปและพร้อมใช้งานหรือไม่?                            ไม่  -> ตัดทอน -> TTS -> แนบเสียง                            ใช่ -> สรุป -> TTS -> แนบเสียง

ข้อมูลอ้างอิงฟิลด์

เครื่องมือของเอเจนต์

เครื่องมือ tts จะแปลงข้อความเป็นเสียงและส่งคืนไฟล์แนบเสียงสำหรับ การส่งคำตอบ ใน Feishu, Matrix, Telegram และ WhatsApp เสียงจะถูก ส่งเป็นข้อความเสียงแทนไฟล์แนบ Feishu และ WhatsApp สามารถแปลงเอาต์พุต TTS ที่ไม่ใช่ Opus ในเส้นทางนี้ได้เมื่อมี ffmpeg พร้อมใช้งาน

WhatsApp ส่งเสียงผ่าน Baileys เป็นข้อความเสียง PTT (audio พร้อม ptt: true) และส่งข้อความที่มองเห็นได้ แยกต่างหาก จากเสียง PTT เนื่องจาก ไคลเอนต์แสดงคำบรรยายบนข้อความเสียงไม่สม่ำเสมอ

เครื่องมือยอมรับฟิลด์ channel และ timeoutMs ซึ่งระบุหรือไม่ก็ได้ ส่วน timeoutMs คือ ระยะหมดเวลาของคำขอไปยังผู้ให้บริการต่อการเรียกหนึ่งครั้งในหน่วยมิลลิวินาที ค่าต่อการเรียกจะแทนที่ messages.tts.timeoutMs; ระยะหมดเวลา TTS ที่กำหนดค่าไว้จะแทนที่ ค่าเริ่มต้นของผู้ให้บริการที่ Plugin กำหนดไว้ทั้งหมด

RPC ของ Gateway

ลิงก์บริการ

• คู่มือการแปลงข้อความเป็นเสียงของ OpenAI
• เอกสารอ้างอิง OpenAI Audio API
• การแปลงข้อความเป็นเสียงผ่าน REST ของ Azure Speech
• ผู้ให้บริการ Azure Speech
• การแปลงข้อความเป็นเสียงของ ElevenLabs
• การยืนยันตัวตนของ ElevenLabs
• Gradium
• Inworld TTS API
• MiniMax T2A v2 API
• Volcengine TTS HTTP API
• การสังเคราะห์เสียงของ Xiaomi MiMo
• node-edge-tts
• รูปแบบเอาต์พุตเสียงของ Microsoft Speech
• การแปลงข้อความเป็นเสียงของ xAI

ที่เกี่ยวข้อง

• ภาพรวมสื่อ
• การสร้างเพลง
• การสร้างวิดีโอ
• คำสั่งแบบสแลช
• Plugin การโทรด้วยเสียง