声纹验证身份场景的模型（FunASR中的cam++）应用及概念；FunASR输出的字段解析；包含权限验证的语音转文字场景；

声纹验证身份场景的模型（FunASR中的cam++）应用及概念

需求希望以后都能录入一个人的声音，根据声音进行识别人，达到根据声纹判断是否有权限的功能

声音特征编码

每个人的声音会被压缩成一个声纹向量

声音特征编码其实就是192维或256维的高维向量
它不能直接帮判断：是不是张三、是否通过验证，这些需要通过算法算出相似度。

声音特征验证流程

获取到目标声纹向量，再与数据库权限人的声纹向量做匹配，这就是一整套声纹验证流程

1. 先注册权限人的声音特征编码
   emb1 = model.generate(input="zhangsan.wav")[0]["spk_embedding"]
2. 目标的声音特征编码
   emb2 = model.generate(input="test.wav")[0]["spk_embedding"]
3. 再通过算法验证计算相似度
   score = F.cosine_similarity(emb1, emb2)
   score大于某个自定义阈值就能认为是同一个人，这就是简单的声纹验证流程。

加强声音特征验证的可靠性

情绪变化、感冒、噪声、说话内容不同、都会影响 embedding。

理论上可以只使用一段声音的特征编码，但工程上不建议只用一段

1. 权限人注册阶段
   建议每个人录 5~10 段语音、每段 3~5 秒，然后对单个权限的特征向量取平均。
2. 验证时的判断
   比对各个权限人哪个最大 + 超过阈值就能判断判定是谁在说话。

FunASR输出的字段解析

在这个FunASR框架中，我使用了vad模型、punc模型（标点符号）和spk模型（分割说话人）

FunASR的输出主要分为以下字段：

1. text：整体完整文本
2. timestamp：逐词时间戳，单位是毫秒
3. sentence_info：句子级别信息（重点）

sentence_info句子级别信息中的字段

1. text:该句文本
2. start / end:句子时间范围
3. spk:说话人编号

在这个模型组合里面没有实时对人进行验证，所有这里的说话人是随意取的spk0、spk1等等

包含权限验证的语音转文字场景

要实现语音对设备的控制，就要对声纹进行权限验证

离线整段音频权限验证架构

整段音频模式的整体架构如下：

1. 输入整段音频
2. 声纹验证（CAM++）
3. ASR 转文字
4. 权限判断
5. 执行 / 拒绝（执行这一块后面需要展开）

先做声纹验证，再做 ASR，可以节省算力，也更安全