在 Whisper 基础上加入词级时间戳与说话人分离的开源工具——这是 WhisperX 最主要的用途，也是本文讨论的前提。

看文档和设置项时遇到的术语，这里用一两句话解释清楚。

术语表

  • TTS（文本转语音）：把文字合成为语音，可选择音色、语速与情感。
  • 声音克隆：用少量样本复制某人的音色，必须取得本人授权。
  • 说话人分离：在转写中区分不同发言人，便于整理会议记录。
  • 响度标准化：把音频调整到平台推荐的响度范围，避免忽大忽小。
  • 人声分离：把歌曲或录音拆分为人声与伴奏等音轨。
  • 采样率：每秒采样次数，影响音质与文件大小。

和 WhisperX 相关的补充

  • 开源项目：WhisperX 的产品形态，决定了安装、权限和数据存放方式。
  • 同类产品：faster-whisper、pyannote、FunASR。
  • 所属方向：音频与语音。

把概念用起来

会议录音转写

适用情况：手头有一段 1 小时的会议录音时。

转写这段录音并区分发言人，生成要点摘要和待办清单，人名和专有名词按我提供的名单校正：【名单】。

验收标准：专有名词按名单校正。

更多可以试的用法

短视频配乐

适用情况：手头有一条 30 秒视频的情绪与节奏时。

生成一段 30 秒的背景音乐：轻快、温暖、无人声，前 5 秒渐入，结尾干净收尾，适合生活类短视频。

检查点：结尾没有突然截断。

分轨练习

适用情况：手头有一首用于练习的歌曲音频时。

把这首歌分离成人声、鼓、贝斯和其他乐器，并把伴奏降低两个半音，方便练唱。

交付前确认：分离后人声没有明显残留伴奏。

播客后期

输入：一期双人录制的原始音频。

处理这期音频：降低底噪、统一两人音量、删除超过 2 秒的停顿，保留自然的语气词，输出前后对比的处理记录。

检查点：人声没有被处理得发闷。

常见问题：配乐与画面情绪不符

先写清情绪关键词和节奏，再分段生成拼接。

常见问题：合成语音读错多音字

在文本中改用同音字或拼音标注，或使用工具的发音词典。

常见问题：克隆音色不稳定

使用更干净、更长的样本，避免背景音乐和回声。

概念补充：响度标准化

把音频调整到平台推荐的响度范围，避免忽大忽小。

概念补充：声音克隆

用少量样本复制某人的音色，必须取得本人授权。

适合人群：记者编辑

记者编辑可以用 WhisperX 处理采访整理、资料核查等工作。需要注意：事实必须多源核实，不得用 AI 生成虚构引语，遵守所在机构的 AI 使用规范。

适合人群：中小学老师

中小学老师可以用 WhisperX 处理备课与分层练习、批改反馈与评语等工作。需要注意：学生个人信息和成绩不要上传到未经学校批准的工具。

适合人群：游戏开发者

游戏开发者可以用 WhisperX 处理原型与素材、NPC 对话与文案等工作。需要注意：关注生成素材的授权和平台对 AI 内容的披露要求。

写在最后

本文基于 WhisperX 公开的定位与通用用法编写，具体功能、套餐与可用地区以官方页面为准，产品更新后界面和名称可能变化。

文中提示词和示例仅作示意，实际效果取决于你的材料和 WhisperX 当前版本，重要内容请人工核对后再使用。

延伸阅读