TTS-Fishaudio
本文整理 MPS 上调用 Fish Audio 语音合成的接口用法。Fish Audio 在 MPS 里以引擎代号 tts-f 接入:接口、鉴权、计费、任务查询、存储全部沿用 MPS 既有的语音合成接口,只在扩展参数 ExtParam 里写 "engine": "tts-f" 切到 Fish Audio,再按需带上模型、语速、参考音频等参数。
tts-f 有三件事跟 MPS 上的其它 TTS 引擎都不一样,也是选它的主要理由:
- 情绪写在正文里,不是单独的参数 —— 在
Text开头加[excited]这样的标签,而且标签内容支持自定义。 - 零样本克隆可以内联完成 —— 在
engineCustom.references里直接传一段参考音频,当次请求就按这个音色合成,不必先调CloneVoice拿VoiceId。 - 提供 LLM 式的采样控制 ——
temperature/top_p/repetition_penalty调表现力与重复度,latency在质量和延迟之间选档。
和另外五个引擎怎么选
七个引擎的完整横向对比(接口覆盖、情绪机制、音频参数、克隆能力)见 Blog 里的 MPS 七大 TTS 引擎横向对比。 一句话版本:要自定义情绪标签或不想先建音色就做克隆 → 本文。
接口与官网文档
以下接口均属于 MPS「Media AI – Dubbing APIs」,官网接口地址统一在腾讯云国际站 Media AI – Dubbing APIs 目录下。
支持 tts-f 的接口
《TTS-F 引擎接入指引》列出以下 4 个接口可通过 ExtParam.engine 切到 Fish Audio:
| 接口 | 作用 | 调用方式 | 官网接口地址 |
|---|---|---|---|
TextToSpeech | 短文本转语音,直接返回音频 | 同步 | 1041/82311 |
CloneVoice | 用参考音频克隆音色,得到可复用的 VoiceId | 同步 | 1041/82312 |
TextToSpeechAsync | 长文本转语音,返回 TaskId | 异步 | 1041/79693 |
DescribeTextToSpeechAsyncTask | 查询异步合成结果(Status / AudioUrl) | 同步 | 1041/79696 |
同目录的其它接口
| 接口 | 作用 | 走 tts-f | 官网接口地址 |
|---|---|---|---|
DescribeVoices | 查询可用音色 | ⏳ 接入指引未列出 | 1041/79695 |
DesignVoiceAsync / DescribeDesignTask | 用文字描述设计新音色 / 查询结果 | ⏳ 接入指引未列出 | 1041/79694 / 1041/79598 |
UpdateVoice / DeleteVoice | 修改 / 删除克隆或设计的音色 | ⏳ 接入指引未列出 | 1041/81214 / 1041/81215 |
ChangeVoice | 音色转换 | ⏳ 接入指引未列出 | 1041/83750 |
SyncDubbing | 早期合一接口(克隆或合成) | ⏳ 接入指引未列出 | 1041/77775 |
⏳ = 接入指引未提及,是否可切到 Fish Audio 以实际调用为准。
DescribeVoices 不在接入指引的列举范围内
七个引擎里只有 tts-f 和 index-tts 的接入指引没列 DescribeVoices(后来接入的 tts-sa 又把它列上了)。好在 tts-f 不太依赖它:要指定音色,既可以用 CloneVoice 返回的 VoiceId,也可以用下面的 references 内联传参考音频。真要枚举系统音色,先用短请求实测一次。
公共约定:
- 版本号
2019-06-12;接入域名国际站mps.intl.tencentcloudapi.com(中国站mps.tencentcloudapi.com)。 - 鉴权统一 TC3-HMAC-SHA256(SecretId / SecretKey),签名方法见 Quick Start。
- 每个接口频率上限
20 次/秒。
引擎切换:ExtParam.engine
MPS 的语音合成接口本身不分引擎,靠 ExtParam 这个 JSON 字符串字段决定由哪个引擎执行。tts-f 用到三层:
| 层级 | 作用 | 说明 |
|---|---|---|
engine | 选引擎 | 本文固定填 tts-f |
synExt.* | MPS 归一化后的合成参数 | 模型、格式、采样率、时长、语速、音量 |
synExt.engineCustom.* | 透传给 Fish Audio 原厂的参数 | 参考音频、采样控制、延迟档位 |
ExtParam 在请求里是字符串,不是对象 —— JSON 需要转义后作为字符串传入(见调用示例)。
同名参数外层优先,但 references 是例外
synExt.xxx 与 synExt.engineCustom.xxx 同名时外层优先。 唯一例外是 references:接入指引原文明确「相同参数外层优先(references 除外)」。也就是说传了 references,实际音色就以它为准 —— 哪怕外层 VoiceId 填了别的值。后来接入的 tts-sa 的 references 也有同样的豁免,七个引擎里只有这两个参数被明文豁免。
tts-f 主要参数
| 参数 | 类型 | 必填 | 描述 |
|---|---|---|---|
engine | String | 是 | 填 tts-f |
synExt | Object | 否 | 语音合成扩展参数 |
synExt.model | String | 否 | 指定模型,可选 tts-f-s2.1-pro(默认)、tts-f-s2-pro、tts-f-s1 |
synExt.format | String | 否 | 生成音频格式,可选 wav、mp3、opus,默认 wav |
synExt.sampleRate | Integer | 否 | 采样率,可选 8000、16000、22050、24000、32000、44100,默认 16000 |
synExt.duration | Float | 否 | 指定音频时长 |
synExt.speed | Float | 否 | 语速,取值 [0.5, 2],默认 1.0 |
synExt.vol | Float | 否 | 音量,取值 (0, 10],默认 1.0 |
synExt.engineCustom | Object | 否 | 引擎客制化参数,透传 Fish Audio 原厂请求参数 |
模型列表
| 取值 | 说明 |
|---|---|
tts-f-s2.1-pro | 默认模型,当前代际的 Pro 模型 |
tts-f-s2-pro | 上一代 Pro 模型 |
tts-f-s1 | S1 模型 |
默认模型未列刊例价
接入指引的刊例价只给了 s2-pro 与 s1(均 $15.00 / 百万 UTF-8 字节),默认模型 s2.1-pro 未列价。按默认参数跑批量前,建议先跟商务确认 s2.1-pro 的计费口径,或显式指定一个已列价的模型。
engineCustom 参数
| 参数 | 类型 | 必填 | 描述 |
|---|---|---|---|
references | Array of Object | 否 | 参考音频样本数组,需同时传音频和对应文本。传此参数时上层 VoiceId 可以 mock 一个,实际音色以本参数为准 |
references[].audio_data | String | 否 | 参考音频 Base64 编码(请求包 10M 以内)。与 audio_url 二选一 |
references[].audio_url | String | 否 | 参考音频 URL,支持远端引用。支持 WAV、MP3、FLAC;为获得最佳效果用 10–30 秒清晰人声,尽量减少背景噪音 |
references[].text | String | 否 | 音频样本中所说内容的准确文本。准确性对克隆质量至关重要 |
temperature | Float | 否 | 控制表现力。越高越多样,越低越稳定。取值 [0, 1],默认 0.7 |
top_p | Float | 否 | 通过取样控制多样性。取值 [0, 1],默认 0.7 |
latency | String | 否 | 延迟与质量的权衡:normal 最佳质量 / balanced 降低延迟 / low 最低延迟。默认 normal |
repetition_penalty | Integer | 否 | 重复音频模式的惩罚,大于 1.0 时重复次数减少。默认 1.2 |
audio_data 的"二选一"原文有笔误
接入指引对 references.audio_data 的描述写的是「与 audio_data 二选一」(自己跟自己二选一)。按上下文应为「与 audio_url 二选一」—— 两者给同一段参考音频,一个走 Base64、一个走 URL。本文按后者记录。
参数示例
一份完整的 ExtParam 对象(展开后便于阅读,实际传参需转义为字符串):
{
"engine": "tts-f",
"synExt": {
"speed": 0.9,
"engineCustom": {
"references": [
{
"audio_url": "https://example.com/ref.mp3",
"text": "你好"
}
],
"temperature": 0.7,
"latency": "normal"
}
}
}接入指引的示例有两处格式问题,本文已更正
接入指引的扩展参数示例里:① "audio_url": "xxx.mp3" 与 "text": "你好" 之间缺一个逗号,照抄会是非法 JSON;② references 在参数表里声明为 Array of Object,但示例传的是单个对象。 本文按参数表的类型声明写成数组。若实测只接受对象,再按原示例改回。
情绪控制:Text 内联标签
tts-f 不用单独的 emotion 参数,而是把标签写在 Text 正文开头:
[happy] What a beautiful day!
[sad] I'm sorry to hear that.
[excited] This is amazing news!常用情绪标签
接入指引给出 24 个常用标签,标签内容支持自定义(不是封闭枚举):
| 情绪 | 标签 | 语气描述 | 典型场景 |
|---|---|---|---|
| Happy | [happy] | 欢快、上扬 | 好消息、问候 |
| Sad | [sad] | 忧郁、低落 | 慰问、坏消息 |
| Angry | [angry] | 愤怒、强硬 | 投诉、警告 |
| Excited | [excited] | 有活力、热情 | 发布、庆祝 |
| Calm | [calm] | 平和、放松 | 操作指引、冥想 |
| Nervous | [nervous] | 焦虑、不确定 | 免责声明、致歉 |
| Confident | [confident] | 自信、笃定 | 演示、销售 |
| Surprised | [surprised] | 震惊、惊叹 | 反应、发现 |
| Satisfied | [satisfied] | 满意、愉快 | 确认、评价 |
| Delighted | [delighted] | 非常高兴、喜悦 | 庆祝、称赞 |
| Scared | [scared] | 惊恐、害怕 | 警告、恐怖故事 |
| Worried | [worried] | 担忧、烦扰 | 关切、提问 |
| Upset | [upset] | 不安、难受 | 投诉、问题反馈 |
| Frustrated | [frustrated] | 恼火、无奈 | 技术故障、延期 |
| Depressed | [depressed] | 极度低落、绝望 | 严肃话题 |
| Empathetic | [empathetic] | 理解、关怀 | 支持、咨询 |
| Embarrassed | [embarrassed] | 羞愧、尴尬 | 致歉、失误 |
| Disgusted | [disgusted] | 排斥、反感 | 负面评价 |
| Moved | [moved] | 被打动 | 温情时刻 |
| Proud | [proud] | 自豪、有成就感 | 成就、表彰 |
| Relaxed | [relaxed] | 自在、随意 | 日常对话 |
| Grateful | [grateful] | 感激、感谢 | 致谢 |
| Curious | [curious] | 好奇、感兴趣 | 提问、探索 |
| Sarcastic | [sarcastic] | 讽刺、调侃 | 幽默、批评 |
内联标签的两面
好处:一段文本里可以逐句换情绪,不必拆成多次请求;标签可自定义,枚举列表之外的风格也能试。 代价:标签是正文的一部分,上游拼接文案时容易把方括号内容当正文念出来。建议在业务侧统一一个「情绪标签只允许出现在句首」的约定,并在入库前做一次校验。
音色(VoiceId)
tts-f 有两条拿音色的路,可以按场景挑:
| 场景 | 做法 | VoiceId |
|---|---|---|
| 音色要反复用(如固定主播) | 先调 CloneVoice 建音色 | 用返回的 VoiceId,例如 7f92f8afb8ec43bf81429cc1c9199cb1 |
| 一次性、或音色数量很多 | 直接传 engineCustom.references | 可以 mock 一个值,实际音色以 references 为准 |
零样本内联克隆适合什么
references 这条路省掉了「建音色 → 存 VoiceId → 管理音色生命周期」的全套流程,适合 UGC 场景(每个用户一个音色,用完即弃)或音色数量远大于复用次数的批量任务。反之,如果同一个音色要用成千上万次,走 CloneVoice 建一次更省带宽 —— 否则每次请求都要重传参考音频。
调用示例
语音合成 TextToSpeech
{
"Text": "[excited] 您好",
"VoiceId": "7f92f8afb8ec43bf81429cc1c9199cb1",
"ExtParam": "{\"engine\":\"tts-f\",\"synExt\":{\"speed\":0.9}}"
}注意 ExtParam 的值是转义后的 JSON 字符串,不是嵌套对象;情绪标签 [excited] 写在 Text 里,不在 ExtParam 里。
零样本克隆:用 references 内联指定音色
{
"Text": "[calm] 欢迎收听本期节目",
"VoiceId": "placeholder",
"ExtParam": "{\"engine\":\"tts-f\",\"synExt\":{\"speed\":0.9,\"engineCustom\":{\"references\":[{\"audio_url\":\"https://example.com/ref.mp3\",\"text\":\"你好\"}]}}}"
}VoiceId 这里填的是占位值 —— 传了 references,实际音色以参考音频为准。
音色克隆 CloneVoice
{
"AudioData": "音频base64编码",
"ExtParam": "{\"engine\":\"tts-f\"}"
}返回的 VoiceId 可以在后续 TextToSpeech / TextToSpeechAsync 里反复使用。
异步合成与查询
长文本用 TextToSpeechAsync 提交,ExtParam 写法与同步接口完全一致,返回 TaskId;再用 DescribeTextToSpeechAsyncTask 轮询 Status,完成后从 AudioUrl 取音频。
支持的语言
共 24 种:
| 英文 | 中文 | 英文 | 中文 |
|---|---|---|---|
| Arabic | 阿拉伯语 | Japanese | 日语 |
| Cantonese | 粤语 | Korean | 韩语 |
| Chinese | 中文(普通话) | Polish | 波兰语 |
| Czech | 捷克语 | Portuguese | 葡萄牙语 |
| Dutch | 荷兰语 | Romanian | 罗马尼亚语 |
| English | 英语 | Russian | 俄语 |
| Finnish | 芬兰语 | Spanish | 西班牙语 |
| French | 法语 | Thai | 泰语 |
| German | 德语 | Turkish | 土耳其语 |
| Greek | 希腊语 | Ukrainian | 乌克兰语 |
| Hindi | 印地语 | Vietnamese | 越南语 |
| Indonesian | 印度尼西亚语 |
模型刊例价
| 模型类型 | 型号名称 | 定价 |
|---|---|---|
| TTS | s2-pro | $15.00 / 百万 UTF-8 字节 |
| TTS | s1 | $15.00 / 百万 UTF-8 字节 |
默认模型 s2.1-pro 不在价目表里
接入指引的刊例价表只列了 s2-pro 与 s1。默认模型 tts-f-s2.1-pro 未列价,不指定 model 就会走它 —— 批量任务前先确认计费口径。
限制与注意事项
- 情绪靠正文标签,不靠参数:标签写在
Text开头,ExtParam里没有emotion字段。 references优先级高于VoiceId:这是「外层优先」规则被明文豁免的参数(另一个是tts-sa的同名参数),传了参考音频,外层音色就不生效。- 参考音频用 10–30 秒清晰人声,
references[].text必须与音频内容一致 —— 文本不准直接拖垮克隆质量。 - Base64 参考音频受请求包限制:
audio_data要求整个请求包 10M 以内,更大的素材走audio_url。 ExtParam是字符串:请求里必须是转义后的 JSON 字符串,直接塞对象会被判为参数错误。engine值精确匹配:写tts-f,前后不要带空格。- 默认采样率
16000:高保真场景显式提到44100;tts-f的采样率可选值里没有48000(TTS-Seed 有)。 - 音量取值是开区间
(0, 10]:0非法,最小值要大于 0。 - 默认模型未列刊例价:见上一节。
- ⏳ 标记的接口以实际调用为准:本文的 ✅ / ⏳ 依据《TTS-F 引擎接入指引》的列举范围,未列出的接口(含
DescribeVoices)不代表一定不可用。
相关文档
| 文档 | 说明 |
|---|---|
| MPS 七大 TTS 引擎横向对比 | 七个引擎的能力、参数与选型对比 |
| AI 配音 | MPS 配音能力总览与内置引擎 |
| TTS-ElevenLabs | 同一套接口的 ElevenLabs 引擎(tts-l1),支持字符级时间戳 |
| TTS-Gemini | 同一套接口的 Google Gemini-TTS 引擎(tts-gg),用 prompt 控制风格 |
| TTS-MiniMax | 同一套接口的 MiniMax 引擎(minimax),支持克隆与音色设计 |
| TTS-Seed | 同一套接口的 TTS-Seed 引擎(tts-s),24 种情绪枚举 |
| TTS-Index | 同一套接口的 IndexTTS 引擎(index-tts),VoiceId 直填参考音频 URL,8 维情感向量 |
| TTS-Seedaudio | 同一套接口的 Seed Audio 引擎(tts-sa),唯一支持图片参考生成,字级时间戳 |
| Quick Start | 鉴权与签名方法 |
| Media AI – Dubbing APIs | 官网接口目录 |