FireRed-OCR Studio部署教程：使用--quantize int4实现显存减半运行

FireRed-OCR Studio部署教程：使用--quantize int4实现显存减半运行

1. 工具介绍

FireRed-OCR Studio是一款基于Qwen3-VL多模态大模型开发的工业级文档解析工具。它能将扫描文档、PDF截图等图像内容精准转换为结构化Markdown格式，特别擅长处理复杂表格、数学公式和文档布局还原。

1.1 核心优势

• 显存优化：支持int4量化技术，显存占用降低50%
• 多格式支持：可处理PDF、JPG、PNG等多种文档格式
• 结构化输出：自动生成带标题层级、列表和表格的Markdown
• 开发者友好：提供清晰的API接口和量化参数配置

2. 环境准备

2.1 硬件要求

2.2 软件依赖

# 基础环境 conda create -n firered python=3.10 conda activate firered # 核心依赖 pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118 pip install streamlit transformers==4.38.0 accelerate

3. 量化部署指南

3.1 标准部署方式

常规部署会占用较多显存：

from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained( "FireRedTeam/FireRed-OCR", torch_dtype=torch.float16, device_map="auto" )

3.2 int4量化部署

通过--quantize int4参数实现显存优化：

from transformers import BitsAndBytesConfig quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True ) model = AutoModelForCausalLM.from_pretrained( "FireRedTeam/FireRed-OCR", quantization_config=quant_config, device_map="auto" )

量化效果对比：

4. 启动应用

4.1 克隆仓库

git clone https://github.com/FireRedTeam/FireRed-OCR-Studio.git cd FireRed-OCR-Studio

4.2 启动命令

使用量化模式启动：

streamlit run app.py -- \ --model_path FireRedTeam/FireRed-OCR \ --quantize int4 \ --port 7860

4.3 参数说明

• --quantize：指定量化类型（可选int4/int8）
• --device：手动指定设备（如cuda:0）
• --cache_dir：模型缓存目录

5. 使用演示

5.1 上传文档

1. 点击左上角"Upload"按钮
2. 选择待解析的文档图片
3. 支持批量上传多张图片

5.2 解析处理

点击"RUN_OCR_PIXELS"按钮后：

1. 系统自动进行版面分析
2. 识别文字内容和结构
3. 生成Markdown预览

5.3 结果导出

• 点击"下载MD"保存Markdown文件
• 右键预览区可复制内容
• 支持导出为HTML格式

6. 常见问题解决

6.1 显存不足

症状：CUDA out of memory错误
解决方案：

1. 添加--quantize int4参数
2. 减小--max_batch_size值
3. 关闭其他占用显存的程序

6.2 启动报错

症状：端口冲突
解决方案：

# Linux/Mac fuser -k 7860/tcp # Windows netstat -ano | findstr 7860 taskkill /PID <PID> /F

6.3 模型加载慢

首次启动时会下载约8GB的模型文件，建议：

• 使用国内镜像源
• 提前下载到本地
• 设置HF_HOME环境变量指定缓存目录

7. 总结

通过本教程，您已经学会：

1. 使用int4量化技术将显存占用降低50%
2. 正确配置FireRed-OCR Studio的运行环境
3. 处理常见的部署和使用问题
4. 高效解析各类文档为结构化Markdown

量化技术虽然会带来轻微的性能损失，但对于大多数文档解析场景，int4量化已经能提供足够好的精度，同时显著降低硬件门槛。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。