nomic-embed-text-v2-moe开源部署教程：离线环境+内网隔离场景下的全量镜像打包

nomic-embed-text-v2-moe开源部署教程：离线环境+内网隔离场景下的全量镜像打包

1. 环境准备与快速部署

在开始部署之前，我们先来了解一下这个模型的基本情况。nomic-embed-text-v2-moe是一个多语言文本嵌入模型，特别擅长处理多语言检索任务。它支持约100种语言，训练数据超过16亿对，而且完全开源，包括模型权重、代码和训练数据。

1.1 系统要求

为了确保顺利部署，建议满足以下系统要求：

• 操作系统：Ubuntu 20.04/22.04 或 CentOS 8+
• 内存：至少16GB RAM（推荐32GB）
• 存储空间：至少50GB可用空间
• GPU：可选，但如果有NVIDIA GPU会加速推理
• 网络：离线环境下需要提前下载所有依赖

1.2 一键部署脚本

对于在线环境，可以使用以下快速部署命令：

# 安装Ollama curl -fsSL https://ollama.ai/install.sh | sh # 拉取模型 ollama pull nomic-embed-text-v2-moe # 启动模型服务 ollama serve

但在离线环境中，我们需要采用不同的方法，接下来会详细说明。

2. 离线环境部署方案

离线环境部署需要提前准备好所有依赖项，包括模型文件、运行环境和相关库文件。

2.1 全量镜像打包步骤

首先在联网环境中准备完整的部署包：

# 创建工作目录 mkdir nomic-offline-deploy cd nomic-offline-deploy # 下载Ollama二进制文件 wget https://ollama.ai/download/ollama-linux-amd64 chmod +x ollama-linux-amd64 # 创建模型目录结构 mkdir -p models/nomic-embed-text-v2-moe

2.2 模型文件准备

由于是离线环境，需要手动下载模型文件：

# 在联网环境中获取模型文件 ollama pull nomic-embed-text-v2-moe # 找到模型存储位置（通常在~/.ollama/models） cp -r ~/.ollama/models/manifests/registry.ollama.ai/library/nomic-embed-text-v2-moe ./models/

2.3 依赖库打包

收集所有运行时依赖：

# 使用ldd检查依赖 ldd $(which ollama) # 如果在联网环境有安装 # 或者使用docker方式获取依赖 docker run --rm -v $(pwd):/output ubuntu:20.04 \ bash -c "apt update && apt install -y wget && wget https://ollama.ai/download/ollama-linux-amd64 -O /output/ollama-linux-amd64"

3. Gradio前端界面部署

Gradio提供了一个简单易用的Web界面，让用户可以直观地进行文本嵌入和相似度计算。

3.1 安装Gradio

在离线环境中，需要提前下载Gradio及其依赖：

# requirements.txt 内容 gradio>=4.0.0 numpy>=1.21.0 requests>=2.25.0 sentence-transformers>=2.2.0

3.2 前端界面代码

创建gradio_app.py文件：

import gradio as gr import numpy as np from sentence_transformers import SentenceTransformer # 初始化模型 model = SentenceTransformer('nomic-ai/nomic-embed-text-v2-moe', trust_remote_code=True) def compute_similarity(text1, text2): """计算两个文本的相似度""" embeddings = model.encode([text1, text2]) similarity = np.dot(embeddings[0], embeddings[1]) / ( np.linalg.norm(embeddings[0]) * np.linalg.norm(embeddings[1]) ) return float(similarity) def batch_process(texts): """批量处理文本生成嵌入向量""" embeddings = model.encode(texts) return embeddings.tolist() # 创建Gradio界面 with gr.Blocks(title="Nomic Embed Text v2 MoE") as demo: gr.Markdown("# Nomic Embed Text v2 MoE 文本嵌入演示") with gr.Tab("相似度计算"): with gr.Row(): text1 = gr.Textbox(label="文本1", lines=2) text2 = gr.Textbox(label="文本2", lines=2) similarity_score = gr.Number(label="相似度得分") similarity_btn = gr.Button("计算相似度") with gr.Tab("批量处理"): batch_input = gr.Textbox(label="输入文本（每行一个）", lines=5) batch_output = gr.JSON(label="嵌入向量结果") batch_btn = gr.Button("生成嵌入向量") # 事件处理 similarity_btn.click( compute_similarity, inputs=[text1, text2], outputs=similarity_score ) batch_btn.click( batch_process, inputs=batch_input, outputs=batch_output ) if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860)

4. 内网隔离环境部署

在内网隔离环境中，需要特别注意网络配置和依赖管理。

4.1 离线安装脚本

创建离线安装脚本install_offline.sh：

#!/bin/bash # 离线安装脚本 set -e echo "开始离线部署Nomic Embed Text v2 MoE..." # 创建安装目录 INSTALL_DIR="/opt/nomic-embed" mkdir -p $INSTALL_DIR cd $INSTALL_DIR # 复制所有文件（假设所有文件已经在当前目录） cp -r ./* $INSTALL_DIR/ # 设置环境变量 echo "export OLLAMA_HOST=0.0.0.0:11434" >> ~/.bashrc echo "export OLLAMA_ORIGINS=*" >> ~/.bashrc source ~/.bashrc # 给Ollama执行权限 chmod +x ollama-linux-amd64 # 创建符号链接 ln -sf $INSTALL_DIR/ollama-linux-amd64 /usr/local/bin/ollama echo "部署完成！"

4.2 启动服务脚本

创建启动脚本start_services.sh：

#!/bin/bash # 启动Ollama服务 nohup ./ollama-linux-amd64 serve > ollama.log 2>&1 & # 等待服务启动 sleep 10 # 加载模型 ./ollama-linux-amd64 pull nomic-embed-text-v2-moe # 启动Gradio前端 python gradio_app.py & echo "所有服务已启动" echo "Ollama服务运行在: http://localhost:11434" echo "Gradio界面运行在: http://localhost:7860"

5. 验证部署效果

部署完成后，需要进行验证确保一切正常工作。

5.1 服务健康检查

使用以下命令检查服务状态：

# 检查Ollama服务 curl http://localhost:11434/api/tags # 检查Gradio服务 curl http://localhost:7860/

5.2 功能测试

进行实际的文本嵌入测试：

# test_embedding.py import requests import json # 测试Ollama API response = requests.post( 'http://localhost:11434/api/embeddings', json={ 'model': 'nomic-embed-text-v2-moe', 'prompt': '这是一个测试文本' } ) print("嵌入向量结果:", response.json()) # 测试相似度计算 text1 = "今天天气真好" text2 = "天气非常不错" similarity = compute_similarity(text1, text2) print(f"相似度: {similarity:.4f}")

6. 常见问题解决

在部署过程中可能会遇到一些问题，这里提供一些常见问题的解决方法。

6.1 端口冲突问题

如果端口被占用，可以修改配置：

# 修改Ollama端口 export OLLAMA_HOST="0.0.0.0:11435" # 修改Gradio端口 python gradio_app.py --server-port 7861

6.2 内存不足问题

如果遇到内存不足，可以尝试以下方法：

# 限制Ollama内存使用 export OLLAMA_MAX_LOADED_MODELS=1 # 或者使用CPU模式 export OLLAMA_NUM_PARALLEL=1

6.3 模型加载失败

如果模型加载失败，检查模型文件路径：

# 手动指定模型路径 ollama run nomic-embed-text-v2-moe --model-path ./models/nomic-embed-text-v2-moe

7. 总结

通过本教程，我们详细介绍了如何在离线环境和内网隔离场景下部署nomic-embed-text-v2-moe模型。这个多语言文本嵌入模型具有出色的性能表现，支持100多种语言，完全开源且易于部署。

主要部署要点回顾：

• 提前准备好所有依赖项和模型文件
• 使用Ollama作为模型服务后端
• 通过Gradio提供友好的前端界面
• 编写完整的离线安装和启动脚本
• 进行充分的功能测试和验证

这种离线部署方案特别适合对数据安全要求较高的企业环境，或者网络访问受限的场景。部署完成后，你就可以在完全隔离的环境中享受高质量的文本嵌入服务了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。