如何快速上手MOSS-Transcribe-Diarize：5分钟完成音频转写与说话人分离

如何快速上手MOSS-Transcribe-Diarize：5分钟完成音频转写与说话人分离

【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模，支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize

想要快速实现长音频转写和多人对话分离？MOSS-Transcribe-Diarize是你的终极解决方案！这个由OpenMOSS团队开发的开源语音转写与说话人分离模型，能够在短短5分钟内帮你完成复杂的音频处理任务。无论你是处理会议录音、采访音频，还是制作播客字幕，这个工具都能轻松应对。

🚀 快速安装指南

环境配置

首先，确保你的系统已安装Python 3.12。我们推荐使用Conda环境来管理依赖：

git clone https://gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize cd MOSS-Transcribe-Diarize conda create -n moss-transcribe-diarize python=3.12 -y conda activate moss-transcribe-diarize conda install -c conda-forge "ffmpeg=7" -y pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[torch-runtime]"

如果你的GPU支持FlashAttention 2，可以安装优化版本：

pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[torch-runtime,flash-attn]"

🎯 一键转写实战

命令行快速使用

最简单的转写方式就是使用命令行工具：

python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/your_audio.mp3 \ --decoding greedy \ --max-new-tokens 2048

想要JSON格式的输出？只需添加一个参数：

python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/your_video.mp4 \ --json

MOSS-Transcribe-Diarize采用模块化音频-语言设计，包含音频编码器、模态适配器和因果语言模型三个核心组件。这种架构让它能够同时处理语音识别、说话人分离和时间戳预测，真正实现了一站式音频处理。

🔧 Python代码集成

如果你更喜欢在代码中集成，这里有一个完整的Python示例：

import torch from transformers import AutoModelForCausalLM, AutoProcessor from moss_transcribe_diarize.inference_utils import ( build_transcription_messages, generate_transcription, resolve_device, ) model_id = "OpenMOSS-Team/MOSS-Transcribe-Diarize" audio_path = "/path/to/your_audio.mp3" device = resolve_device("auto") dtype = torch.bfloat16 if device.type == "cuda" else torch.float32 model = AutoModelForCausalLM.from_pretrained( model_id, trust_remote_code=True, dtype="auto", ).to(dtype=dtype).to(device).eval() processor = AutoProcessor.from_pretrained( model_id, trust_remote_code=True, fix_mistral_regex=True, ) messages = build_transcription_messages(audio_path) result = generate_transcription( model, processor, messages, max_new_tokens=2048, do_sample=False, device=device, dtype=dtype, ) print(result["text"])

📊 输出格式详解

MOSS-Transcribe-Diarize生成的转写结果采用标准化的格式：

[开始时间][说话人编号]转写文本[结束时间]

实际示例：

[0.48][S01]欢迎各位参加今天的会议[1.66][12.26][S02]新的转录系统已经准备就绪[13.81][14.36][S01]很好，请将说话人分离结果包含在报告中[18.76]

在这个格式中：

• 开始时间和结束时间以秒为单位
• [S01]、[S02]等是模型生成的匿名说话人标签
• 说话人标签是相对标识，不代表真实的说话人身份

🎨 高级功能定制

自定义提示词

你可以根据具体需求定制转写指令：

messages = build_transcription_messages( audio_path, prompt="请为这段音频生成带有时间戳和说话人标签的转写文本。", )

命令行中同样支持自定义提示词：

python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/audio.mp3 \ --prompt "请生成会议纪要格式的转写文本"

支持的文件格式

• 音频文件：MP3、WAV、FLAC等常见格式
• 视频文件：MP4、MOV、MKV等视频容器
• 处理方式：视频文件通过PyAV解码，重采样为16kHz单声道音频

⚡ 性能优势

根据官方评估数据，MOSS-Transcribe-Diarize在多个数据集上都表现出色：

🛠️ 核心配置文件

项目的主要配置文件包括：

• configuration_moss_transcribe_diarize.py- 模型配置
• modeling_moss_transcribe_diarize.py- 模型架构
• processing_moss_transcribe_diarize.py- 数据处理
• preprocessor_config.json- 预处理器配置

💡 使用技巧

1. 长音频处理：模型支持长音频处理，会自动分块处理
2. GPU优化：如果使用GPU，建议开启FlashAttention 2加速
3. 内存管理：对于特别长的音频，可以适当调整max-new-tokens参数
4. 批量处理：可以通过脚本批量处理多个音频文件

🎉 开始你的音频处理之旅

现在你已经掌握了MOSS-Transcribe-Diarize的核心使用方法。无论是会议记录、采访整理，还是播客制作，这个工具都能大幅提升你的工作效率。记住，音频处理从未如此简单——只需5分钟，就能获得高质量的转写和说话人分离结果！

准备好开始了吗？立即克隆仓库，体验一站式音频处理的强大功能吧！

【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模，支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize