当前位置：首页 > news >正文

LFM2.5-VL-1.6B开源大模型教程：支持Function Calling的纯文本扩展能力

news 2026/5/5 18:29:49

LFM2.5-VL-1.6B开源大模型教程：支持Function Calling的纯文本扩展能力

1. 项目概述

LFM2.5-VL-1.6B是由Liquid AI开发的轻量级多模态大模型，专为端侧和边缘设备设计。这个1.6B参数的视觉语言模型（1.2B语言+400M视觉）在保持轻量化的同时，提供了强大的图文理解和生成能力。

项目	值
模型名称	LFM2.5-VL-1.6B
开发商	Liquid AI
参数量	1.6B
类型	视觉语言模型 (Vision-Language)
模型路径	`/root/ai-models/LiquidAI/LFM2___5-VL-1___6B`
WebUI 地址	http://localhost:7860

2. 环境准备与快速部署

2.1 硬件要求

LFM2.5-VL-1.6B对硬件要求相对友好，适合在资源有限的设备上运行：

组件	要求
GPU	NVIDIA GPU (推荐 8GB+ 显存)
当前配置	RTX 4090 D, 22.15 GB 可用
内存占用	~3 GB GPU

2.2 快速启动方式

WebUI方式（推荐）

模型已配置为开机自启动服务，可以通过以下命令管理：

# 查看服务状态 supervisorctl status lfm-vl # 重启服务 supervisorctl restart lfm-vl # 查看日志 tail -f /var/log/lfm-vl.out.log

启动后访问 http://localhost:7860 即可使用Web界面。

命令行方式

如需手动启动，可以运行：

cd /root/LFM2.5-VL-1.6B python webui.py

3. 核心功能与使用示例

3.1 基础图文对话功能

LFM2.5-VL-1.6B支持上传图片并进行对话，以下是Python调用示例：

import warnings warnings.filterwarnings('ignore') import torch from PIL import Image from transformers import AutoProcessor, AutoModelForImageTextToText # 加载模型 MODEL_PATH = "/root/ai-models/LiquidAI/LFM2___5-VL-1___6B" processor = AutoProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True) model = AutoModelForImageTextToText.from_pretrained( MODEL_PATH, device_map="auto", dtype=torch.bfloat16, trust_remote_code=True ) model.eval() # 准备图片并提问 image = Image.open("your_image.jpg").convert('RGB') conversation = [ { "role": "user", "content": [ {"type": "image", "image": image}, {"type": "text", "text": "描述这张图片"} ] } ] # 生成回复 text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False) inputs = processor.tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=2048) inputs = {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=256, temperature=0.1, min_p=0.15, do_sample=True, ) response = processor.batch_decode(outputs, skip_special_tokens=True)[0].strip() print(response)

3.2 使用URL图片

模型支持直接处理网络图片：

from transformers.image_utils import load_image url = "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" image = load_image(url)

4. 高级功能与参数调优

4.1 Function Calling支持

LFM2.5-VL-1.6B支持纯文本Function Calling功能，可以通过自然语言描述触发预设功能。这是该模型区别于其他轻量级模型的重要特性。

4.2 推荐生成参数

根据不同任务类型，建议调整以下参数以获得最佳效果：

任务	temperature	min_p	max_new_tokens
事实问答	0.1	0.15	256
创意描述	0.7	0.15	512
代码生成	0.1	0.1	1024

5. 项目结构与维护

5.1 项目目录结构

/root/LFM2.5-VL-1.6B/ ├── webui.py # Gradio WebUI 入口 ├── webui.log # 运行日志 └── ... /root/ai-models/LiquidAI/LFM2___5-VL-1___6B/ ├── model.safetensors # 模型权重 (3.1 GB) ├── config.json # 模型配置 ├── processor_config.json # 处理器配置 ├── tokenizer.json # 分词器 ├── chat_template.jinja # 对话模板 ├── README.md # 官方文档 └── ...

5.2 开机自启配置

服务已通过Supervisor配置为开机自启动：

[program:lfm-vl] command=/opt/miniconda3/envs/torch28/bin/python /root/LFM2.5-VL-1.6B/webui.py directory=/root/LFM2.5-VL-1.6B user=root autostart=true autorestart=true stderr_logfile=/var/log/lfm-vl.err.log stdout_logfile=/var/log/lfm-vl.out.log

6. 常见问题解决

6.1 WebUI启动问题

如果遇到端口占用问题：

# 检查端口占用 lsof -i :7860 # 重启服务 supervisorctl restart lfm-vl

6.2 模型加载失败

检查模型文件和GPU状态：

# 检查模型文件 ls -la /root/ai-models/LiquidAI/LFM2___5-VL-1___6B/ # 检查GPU nvidia-smi

6.3 常见报错处理

遇到'str' object has no attribute 'to'错误时，请确保使用正确的调用方式：

# 错误方式 (会报错) inputs = processor.apply_chat_template(...).to(device) # 正确方式 text = processor.apply_chat_template(..., tokenize=False) inputs = processor.tokenizer(text, return_tensors="pt") inputs = {k: v.to(model.device) for k, v in inputs.items()}