跳到正文

说话人分离

说话人分离与说话人日志:该选哪一种?

需要独立音轨,还是带说话人标签的文字稿?了解说话人分离、说话人日志与转写的区别,按剪辑或研究需求选择输出。

作者
Seply 编辑团队
发布于

说话人分离会为检测到的每位说话人生成独立音轨;说话人日志标注谁在什么时候说话;转写则把说话内容变成文字。 要分别编辑声音,选说话人分离;要阅读、检索、制作字幕或分析对话,选结合说话人日志的语音转文字。单独的说话人日志不会生成文字稿,也不会识别一个人的真实姓名。

说话人日志(Speaker diarization)也称“说话人分割聚类”或“说话者自动分段标记”。Google Cloud 的说话人日志文档介绍了如何为识别出的词语添加编号标签,可帮助理解日志与转写的配合方式。引用这份资料不代表 Seply 使用其中的服务商。

同一段对话,三种不同的输出

假设有一段六秒录音:说话人 1 在 00:00–00:02 问“我们什么时候开始?”,说话人 2 在 00:03–00:05 回答“十点开始。”

以下仅为概念示例: 对话、时间和文件名都是为解释区别而编写的,并非 Seply 的实际处理结果,也不是可下载文件。

英文概念图:同一段混合录音分别生成独立 WAV 音轨、说话人时间段,以及带说话人标签的转写文本查看原图 ↗

AI 生成的英文概念示意图。波形和时间条仅用于说明,不是实测结果。点击可查看大图;下表用中文解释同一示例。

方法输出示例可以用来做什么
说话人分离speaker-1.wav:00:00–00:02 的提问。
speaker-2.wav:00:03–00:05 的回答。
两个文件均保留完整的六秒时间轴及停顿。
在音频编辑器中单独调整或静音某个人的声音。Seply 输出 WAV 音轨,但仍可能残留串音。
仅生成说话人日志00:00–00:02 · 说话人 1
00:03–00:05 · 说话人 2
没有文字,也没有独立音轨。
定位发言轮次、统计发言时长。标签区分声音,不验证真实姓名。
转写结合说话人日志00:00–00:02 · 说话人 1:“我们什么时候开始?”
00:03–00:05 · 说话人 2:“十点开始。”
按说话人阅读、寻找引用或制作字幕。文字来自转写,音频仍是混合录音。

上表只解释概念,不表示每种导出格式都会包含姓名和时间戳。在 Seply 中,TXT 包含文本;SRT 包含时间戳和说话人名称;VTT 使用说话人标签。具体校对和导出步骤见访谈转写流程。

用 30 秒判断自己需要什么

先想想接下来使用这些材料的人需要什么:

  1. 剪辑师需要分别控制音量或效果,选说话人分离。正式使用前,检查各音轨之间是否仍有串音。
  2. 制作人、研究者或撰稿人需要知道每句话是谁说的,选带说话人日志的语音转文字。
  3. 独立音轨和可检索文字都需要,就用同一份已获授权的原始录音分别运行两个流程。

例如,播客剪辑师可以先分离主持人和嘉宾的声音再混音;节目简介的撰稿人则通过带说话人标签的文字稿寻找引用。这两种输出各有用途。

需要独立音轨?

分离说话人,逐一试听,再下载与原录音时间对齐的 WAV 文件。

打开说话人分离

需要带说话人标签的文字稿?

转写原始录音并启用说话人日志,再核对文字和说话人标签。

打开语音转文字

两种方法如何处理多人同时说话

在多人同时开口时,两种方法的区别尤其明显:同一段录音中,同一时刻可能存在两个人的声音。

说话人分离尝试将这些声音重建为各自独立、时间同步的音轨。结果可用时,剪辑师可以降低某次插话的音量,或调高声音较轻的嘉宾,而不改变时间位置。下面是 Seply 的公开示例,可以对比混合原音和两条分离音轨。

Seply 公开示例

对比原始混音与各说话人音轨

19 秒 · 两位说话人

0:00 / 0:19已选择 原始混音

这是 Seply 首页使用的同一组公开示例,只展示一段录音的结果,不代表通用准确率。

说话人日志为时间段添加说话人标签,不会拆分音频。有些系统能标注同时说话,但处理能力因系统而异;结合转写可以得到这些时间段的文字,却不能保证完整识别双方的每一个词。模式选择和试听方法见多人同时说话的处理指南。

什么时候需要两种工具一起用

如果交付物既有剪辑后的媒体,又有文字,可以组合使用:

工作环节建议工具交付内容
整理对话音频说话人分离各说话人的 WAV 音轨
寻找引用带说话人日志的语音转文字可检索、带标签的文字稿
制作字幕语音转文字SRT 或 VTT
最终混音音频或视频编辑器可发布的节目或访谈

请保留原始录音作参照。分离音轨和转写文本都是由原始素材生成的工作文件,都可能出错,对照原音更容易发现问题。

普通的带说话人标签转写不需要先分离音频。如果已剪切或移动音频片段,需要与新时间轴匹配的字幕时,应转写最终剪辑版本。

Seply 的费用与文件规则

处理前,Seply 会显示模式、文件限制和积分预估。分离与转写共用积分余额,但费率不同;同时使用两种功能,会分别扣除各任务的积分。高级模式需要先完成一次购买。购买选项见套餐与积分。

输入格式、输出文件和计费细节,请查看说话人分离操作指南或访谈转写流程。

根据交付内容选择工具

需要独立音轨,选说话人分离;只需要说话人的发言时间段,选说话人日志;需要带说话人标签的文字,选结合日志的转写。 先明确下一步是编辑声音、定位发言,还是处理文字,再选择对应输出。