GPA-v1.5 ONNX Runtime使用教程：CLI工具、浏览器UI与语音注册全流程
GPA-v1.5 ONNX Runtime使用教程：CLI工具、浏览器UI与语音注册全流程
【免费下载链接】GPA[AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one tiny model!项目地址: https://gitcode.com/gh_mirrors/gpa5/GPA
GPA（General Purpose Audio）是一款功能强大的通用音频模型，能通过一个轻量级模型实现语音识别（ASR）、文本转语音（TTS）和语音转换（VC）三大功能。本教程将详细介绍如何使用GPA-v1.5的ONNX Runtime，包括CLI工具的基本操作、浏览器UI的使用方法以及语音注册的完整流程，帮助你快速上手这一强大的音频处理工具。
📋 准备工作：下载与环境配置
在开始使用GPA-v1.5 ONNX Runtime之前，需要完成资产下载和环境配置两个关键步骤。
下载运行时资产
首先，从Hugging Face下载ONNX运行时资产包，推荐的目录结构是将资产包放置在与项目同级的路径：GPA-v1.5-HF/GPA-v1.5-onnx-runtime。这样可以避免额外的配置步骤，程序会自动识别资产位置。
如果需要自定义资产路径，可以通过环境变量指定：
export ARK_AUDIO_RUNTIME_ASSET_ROOT=/absolute/path/to/GPA-v1.5-onnx-runtime下载完成后，确保资产包包含以下关键目录和文件：
model/runtime_manifest.jsonmodel/reference/default_global_tokens.npygenai_fp16_qwen/model.onnxgenai_int4_qwen/model.onnxvoice/spark_tokenizer_model/config.yamlvoice/spark_tokenizer_model/model.safetensors
环境搭建
推荐使用专用的虚拟环境来运行GPA-v1.5 ONNX Runtime，具体步骤如下：
python3 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip pip install -r GPA_1.5/onnx_runtime/requirements.runtime.txt🚀 快速开始：CLI工具使用
CLI工具是使用GPA-v1.5 ONNX Runtime的基础，通过简单的命令即可实现语音合成和识别功能。
语音合成（TTS）
使用int4精度进行语音合成的命令如下：
python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text "Hello, this is a short GPA speech synthesis check." \ --tts_out_wav tmp_docs/onnx_smoke/readme_tts_int4_int8.wav \ --main-model-precision int4 \ --decoder-precision int8如果需要使用已注册的特定语音，可以通过--voice-global-token参数指定语音的token文件：
python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text "Hello, this is a short GPA speech synthesis check." \ --tts_out_wav tmp_docs/onnx_smoke/readme_tts_registered_voice.wav \ --voice-global-token GPA_1.5/onnx_runtime/voices/items/default/global_tokens.npy \ --main-model-precision int4 \ --decoder-precision int8语音识别（ASR）
使用int4精度对音频文件进行语音识别的命令如下：
python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task asr \ --asr_audio tmp_docs/onnx_smoke/readme_tts_int4_int8.wav \ --main-model-precision int4对于性能较强的GPU，可以将精度设置为fp16以获得更高质量的输出。
🌐 浏览器UI：直观交互体验
GPA-v1.5 ONNX Runtime提供了一个基于FastAPI的Web服务，通过浏览器UI可以更直观地进行音频处理操作。
启动Web服务
在终端中执行以下命令启动Web服务：
cd GPA_1.5/onnx_runtime uvicorn service:app --host 127.0.0.1 --port 8024启动成功后，在浏览器中访问http://127.0.0.1:8024/即可打开UI界面。
UI功能介绍
浏览器UI提供了丰富的功能，包括：
- 语音合成：输入文本生成语音
- 语音识别：上传或录制音频进行转录
- 语音管理：查看和管理已注册的语音
- 运行监控：查看运行时的内存使用情况
🎙️ 语音注册：自定义你的声音
GPA-v1.5支持语音注册功能，让你可以使用自定义的声音进行语音合成。
准备工作
在进行语音注册前，确保资产包中包含voice/spark_tokenizer_model目录。如果资产位于非默认路径，可以通过环境变量指定：
export ARK_AUDIO_TOKENIZER_MODEL_DIR=/absolute/path/to/spark_tokenizer_model语音注册流程
- 通过UI注册：在浏览器UI中找到语音注册功能，按照提示上传或录制语音样本。
- 查找voice_id：注册成功后，在
GPA_1.5/onnx_runtime/voices/registry.json文件中查找生成的voice_id。 - 使用注册语音：通过CLI工具使用已注册的语音，命令如下：
python GPA_1.5/onnx_runtime/infer_ark_audio_onnx.py \ --runtime-root GPA-v1.5-HF/GPA-v1.5-onnx-runtime \ --task tts \ --tts_text "Hello, this is a custom voice." \ --tts_out_wav output_custom_voice.wav \ --voice-global-token GPA_1.5/onnx_runtime/voices/items/<voice_id>/global_tokens.npy \ --main-model-precision int4 \ --decoder-precision int8🔌 API接口：扩展与集成
GPA-v1.5 ONNX Runtime提供了丰富的API接口，方便进行功能扩展和集成。主要接口包括：
- UI界面：
GET / - 健康检查：
GET /api/health - 内存监控：
GET /api/memory - 语音管理：
GET /api/voices、POST /api/voices/register-path、POST /api/voices/register-upload - 核心推理：
POST /api/tts、POST /api/asr - OpenAI兼容接口：
GET /v1/models、GET /v1/audio/voices、POST /v1/audio/speech、POST /v1/audio/transcriptions
通过这些接口，可以将GPA-v1.5集成到各种应用场景中，实现更灵活的音频处理功能。
🛠️ 开发者工具：调试与优化
GPA-v1.5 ONNX Runtime提供了一系列开发者工具，帮助进行模型调试和优化：
- Torch vs ONNX调试：
compare_torch_onnx_tts.py用于逐步检查PyTorch和ONNX模型的差异。 - 运行时资产重建：
build_runtime.py用于刷新资产包。 - 导出与量化工具：
scripts/目录下包含各种导出、量化和扫描工具。
⚠️ 注意事项
在使用GPA-v1.5 ONNX Runtime时，需要注意以下几点：
- UI示例文件：浏览器UI默认查找
samples/sample.mp3，如果文件缺失，UI会给出提示。 - ASR准确性：ONNX CLI/服务的冒烟测试仅检查执行是否成功，不保证转录准确性，可能会有轻微的措辞差异。
- 语音注册：默认的资产包已包含tokenizer模型资产，仅在需要替换时使用
ARK_AUDIO_TOKENIZER_MODEL_DIR环境变量。
通过本教程，你已经了解了GPA-v1.5 ONNX Runtime的基本使用方法，包括CLI工具、浏览器UI和语音注册功能。开始探索这个强大的音频模型，为你的项目添加高效的语音处理能力吧！
要开始使用，请克隆仓库：https://gitcode.com/gh_mirrors/gpa5/GPA
【免费下载链接】GPA[AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one tiny model!项目地址: https://gitcode.com/gh_mirrors/gpa5/GPA
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考