SenseVoice-Small 增量微调:保留普通话+粤语的前提下新增潮汕话识别,如何避免灾难性遗忘?

[13649480419]

背景
我们线上用 SenseVoice-Small 做普通话 +粤语识别(已部署),输出标准中文。现在想在不损失现有普通话/粤语识别能力的前提下,新增潮汕话识别。

难点:潮汕话不在 SenseVoice 现有语种里;而且我们拿不到官方普通话/粤语的原始训练数据,担心直接微调会导致普/粤能力灾难性遗忘。

想请教的问题

1. 如何防遗忘:在没有原始 zh/yue 训练数据的情况下,微调新增一个语种,有没有官方推荐做法避免遗忘?是否只能靠混入其他 zh/yue
   数据"复习"?新增语种数据 vs 复习数据的推荐配比大概是多少?

2. 能否部分参数微调:SenseVoice-Small 微调是否支持冻结部分参数(比如冻结encoder、只训练部分层)用于低资源/防遗忘?文档里我只看到全量微调,请问有没有冻结/adapter 的官方做法?

3. 语种标签冲突:SenseVoice 的语种 token 是闭集(<|zh|> <|en|> <|yue|> <|ja|> <|ko|>),没有潮汕话槽位。我打算把潮汕话标成
   <|zh|>(因为输出目标是标准中文)——这样会不会干扰原有普通话(同为 <|zh|>)的识别?能否新增一个自定义语种 token?如何添加?

4. 有没有增量扩展新语种的官方示例或建议?

我已经尝试/了解的

• 已读训练文档 https://modelscope.github.io/FunASR/zh/training.html ,了解 finetune.sh 与 jsonl 数据格式(key/source/target/text_language 等)。
• 已确认拿不到官方 zh/yue 原始数据,所以卡在"如何防遗忘"上。
• 目前主要未解决两点:① 无原始 zh/yue 数据下的遗忘问题;② 潮汕话挤用 <|zh|> 是否会干扰普通话。

计划使用的命令

计划用 examples/industrial_data_pretraining/sense_voice/finetune.sh + jsonl(潮汕话样本 text_language 标为
<|zh|>)。尚未开跑,想先确认方向是否正确。

[LauraGPT]

先给结论：没有旧域约束时，任何全量或部分参数微调都不能保证普通话/粤语零退化。当前最稳妥的路线是“旧模型伪标注/公开数据 replay + 小学习率分阶段解冻 + 三套独立验证集”，而不是只用潮汕话单域继续训练。

1. 防遗忘

拿不到官方原始数据不等于不能做 replay。建议先用当前线上 SenseVoice-Small 给你们已有的、无标注的普通话/粤语生产音频生成伪标签，过滤低置信度/异常长短样本，再补充许可允许的公开 zh/yue 数据。训练前固定三套不参与训练的验证集：普通话、粤语、潮汕话，并始终用原始线上模型作为 retention baseline。

目前没有官方固定配比。可以先把下面三档作为实验起点，不是官方保证值：

• replay:new = 1:1
• replay:new = 2:1
• replay:new = 3:1

replay 内再按线上普通话/粤语流量或业务重要性分层采样。选择“潮汕话达到目标，同时 zh/yue 相对 CER/WER 退化不超过你们业务阈值”的最小新域占比；不要只看混合总指标。若连 3:1 replay 仍明显遗忘，继续增加 replay、降低学习率/训练步数，或加强 teacher-student 约束。

2. 冻结参数

SenseVoice-Small 没有单独文档化的 adapter/LoRA recipe，但 FunASR 通用训练入口已经支持按参数名前缀冻结。funasr/bin/train_ds.py 会读取 freeze_param，所以可以先在现有命令加：

++freeze_param="encoder" \
++optim_conf.lr=0.00002

这会冻结整个 encoder.*，只训练语言查询 embedding 和 CTC/output 部分，适合先做短暂 head warm-up；但潮汕话的声学差异较大，长期完全冻结 encoder 往往容量不够。更建议第二阶段只冻结前部层并放开后部层，例如通过逗号分隔的精确前缀冻结：

++freeze_param="encoder.encoders0,encoder.encoders.0,encoder.encoders.1,encoder.encoders.2" \
++optim_conf.lr=0.00002

实际冻结多少层要靠三套验证集选择。启动后请检查日志里的 Setting ... requires_grad = False 和 model summary，确认冻结范围符合预期。

仓库里的 LoRA 基础设施和示例目前主要接在 Paraformer/SANM 的特定模块上；SenseVoice-Small 的构造路径没有把 LoRA 配置完整接通。因此不建议把 lora_only 当作现成的 SenseVoice 官方方案，否则可能没有可训练的 LoRA 参数。

3. 语言 token

当前 SenseVoice-Small 的 language id 是闭集：<|zh|>、<|en|>、<|yue|>、<|ja|>、<|ko|>。训练数据集假定 text_language 恰好编码成一个特殊 token，模型内部的 lid_int_dict / lid_dict 也只认识这些固定 id。

因此请不要直接把 <|teochew|>、<|nan|> 等字符串写进 JSONL：现有 tokenizer 会把它们切成多个普通 token，语言查询会回退到 auto，而且后续 text[:, 4:] 的目标位置也会错位。

在不 fork 模型结构的前提下，如果输出目标是标准中文，先用 <|zh|> 是当前可运行方案。它确实与普通话共享条件，因此 replay 和独立 zh 验证集是必要的。新增真正的自定义 language token 不是数据侧一行配置：需要同时修改 SentencePiece 模型、vocab/CTC 输出维度、lid_dict、lid_int_dict、language embedding、旧权重迁移，以及导出/推理代码；目前仓库没有这条官方示例。

建议的最小实验顺序

1. 先保存当前线上模型在固定 zh/yue/chaozhou 验证集上的基线。
2. 用 <|zh|>，replay:new=2:1，冻结整个 encoder，低学习率做短 warm-up。
3. 保留 replay，逐步解冻 encoder 后部层；每个 checkpoint 同时评估三套集合。
4. 若需要严格区分潮汕话条件，再单独设计 custom-LID 模型 fork，不要在这轮数据微调里混做。

为了把建议收敛成更具体的配置，麻烦补充：潮汕话/可用于 replay 的普通话/粤语各有多少小时和说话人数，以及当前线上模型在三套验证集上的 CER/WER（没有潮汕话基线也可以先给前两套）。

[13649480419]

数据量(当前值,潮汕话与普/粤 后续都会持续增多)

• 潮汕话：8.45小时，说话人数约20人
• 可 replay 的普/粤:自有录音共约 75 小时(普通话约 100h、粤语约10h),无人工标注,仅音频 + 当前模型 ASR 输出(拟作伪标签,过滤低置信/异常长短)，说话人数约240人。
  当前线上模型三套验证集基线 CER(离线 SenseVoice)
• 普通话(FLEURS test,300 句):8.9%
• 粤语(ASCEND 口语对话,314 句):9.1%
• 潮汕话(自有数据域 held-out,300 句):93.3%(现模型基本不会潮汕话,为起点)

[LauraGPT]

感谢补充数据。按你们当前的 8.45 小时潮汕话数据，建议先跑下面这一档：

• 每个 epoch：潮汕话 8.45h + replay 16.9h（replay:new=2:1）。
• replay 第一版可用普通话约 10.1h、粤语约 6.8h。这个 60:40 是为了显式保护粤语的实验起点，不是官方固定比例；不要按 100h:10h 原始池比例直接采样，否则粤语容易被淹没。
• 每个 epoch 从旧域池轮换采样，不需要把全部旧域音频重复塞入每轮。你回复中的“共约 75h”与“普通话约 100h + 粤语约 10h”不一致，请在生成 manifest 时以逐条统计结果为准，但这不影响每轮 16.9h 的 replay 预算。
• 三套验证集先固定，并确保与训练/replay 说话人不重叠。保留当前基线：zh 8.9%、yue 9.1%、Teochew 93.3%；提前定义 zh/yue 可接受的相对退化阈值。
• 第一阶段用 <|zh|>，冻结整个 encoder，lr=2e-5，先跑 3–5 epoch，并频繁保存/评估，不要直接沿用默认 50 epoch、2e-4。
• 若 zh/yue 保持住但潮汕话 CER 停滞，再从最佳 checkpoint 放开 encoder 后部层；若任一旧语种超出阈值，则增加 replay、提高粤语最低占比、降低学习率或提前停止。
• 选 checkpoint 时先淘汰所有违反 zh/yue 保持阈值的模型，再在剩余模型里选潮汕话 CER 最低者。

我已经把完整的中英文配方、冻结参数和 1:1 / 2:1 / 3:1 实验矩阵合入仓库：

• 中文持续微调指南
• English guide
• PR: docs: add SenseVoice continual fine-tuning guide #3396

你们可以先按 2:1 跑第一轮，把每个 checkpoint 的 zh/yue/Teochew CER 表贴回来，我们再根据三条曲线收敛第二阶段解冻层数。