本地部署千问大模型
下载千问大模型
大家可以从魔搭社区平台，下载各种版本的各种大模型，尽量能在自己的电脑上运行，所以这边下载1.5B的版本
下载后的文件夹里的东西不要动即可
环境准备
在开始之前，先统一环境。本文基于transformers+PyTorch，支持 CPU/GPU，模型使用Qwen 系列本地模型
情感分类（只输出正面 / 负面 / 中立）
from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 本地模型路径 model_name = r"E:\学习\大模型\qwen" device = "cuda" if torch.cuda.is_available() else "cpu" # 加载分词器与模型 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto", trust_remote_code=True ).to(device) # 固定模板：强制模型只输出结果 prompt_template = "请仅输出以下文本的情感类别（正面/负面/中立）：{text}" input_text = "这部电影真是太差劲，我非常不喜欢！" prompt_input = prompt_template.format(text=input_text) # 编码输入 inputs = tokenizer(prompt_input, return_tensors="pt").to(device) # 生成配置：确定性、短文本、无采样 output_sequences = model.generate( inputs.input_ids, attention_mask=inputs.attention_mask, max_new_tokens=2, # 只生成1-2个字 do_sample=False, # 关闭采样 temperature=0.0, # 完全确定性输出 pad_token_id=tokenizer.eos_token_id ) # 解码并只提取新增结果 generated_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True) result = generated_text[len(prompt_input):].strip() print("情感分类结果：", result) # 输出：负面max_new_tokens=2：严格限制输出长度，避免多余文字
temperature=0.0：温度为 0，保证每次输出一致
固定 prompt：明确告诉模型输出格式
多轮对话（模型能记住上下文）
Qwen 有官方对话模板，不按格式写，模型完全记不住上下文。
正确方式：使用apply_chat_template，按role + content组织对话。
from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name_or_path = r"E:\学习\大模型\qwen" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_name_or_path, torch_dtype="auto", device_map="auto", trust_remote_code=True ) # 历史对话（必须是 role + content 格式） history = [ {"role": "user", "content": "你好，请问今天天气怎么样？"}, {"role": "assistant", "content": "今天是晴天，气温20到25度。"}, {"role": "user", "content": "那明天呢？"}, {"role": "assistant", "content": "明天是晴天，气温22到25度。"}, {"role": "user", "content": "那后天的天气呢？"} ] prompt = tokenizer.apply_chat_template( history, tokenize=False, add_generation_prompt=True ) inputs = tokenizer(prompt, return_tensors="pt").to(model.device) output_sequences = model.generate( inputs.input_ids, attention_mask=inputs.attention_mask, max_new_tokens=30, temperature=0.1, top_p=0.9, pad_token_id=tokenizer.eos_token_id, do_sample=False ) response = tokenizer.decode( output_sequences[0][len(inputs.input_ids[0]):], skip_special_tokens=True ) print("模型回答：", response)response = tokenizer.decode(
output_sequences[0][len(inputs.input_ids[0]):],
skip_special_tokens=True
这个代码表示只解码新增内容，这样就不会输出多余信息
连续传入信息
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = r"E:\学习\大模型\qwen" model = AutoModelForCausalLM.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name) conversation_history = [] while True: user_input = input("你: ") if user_input.lower() in ["quit", "exit"]:# break # 将用户输入添加到对话历史 conversation_history.append(user_input) # 构建完整的输入文本 full_input_text = "\n".join(conversation_history) # 对输入文本进行编码 input_ids = tokenizer(full_input_text, return_tensors="pt") # 生成回答 output = model.generate(input_ids.input_ids, max_length=1000, attention_mask=input_ids.attention_mask) answer = tokenizer.decode(output[0], skip_special_tokens=True) # 提取回答中本次新增的部分 new_answer = answer[len(full_input_text):] print("Qwen-2.5:", new_answer) # 将回答添加到对话历史 conversation_history.append(new_answer)信息抽取
import json from rich import print from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 定义抽取实体与属性 schema = {'商品': ['产品', '品牌', '特点', '原价', '促销价', '销量'], } IE_PATTERN = "{}\n\n提取上述句子中{}的实体，并按照JSON格式输出，不存在的信息用['原文中未提及']表示，多值用','分隔。" # 少样本示例 ie_examples = { '商品': [{ 'content': '2024 新款时尚运动鞋，品牌 JKL，舒适透气，原价 599 元，促销价 499 元，月销量 2000 双。', 'answers': { '产品': ['时尚运动鞋'], '品牌': ['JKL'], '特点': ['舒适透气'], '原价': ['599元'], '促销价': ['499元'], '销量': ['2000双'], } }] } # 初始化prompt历史 def init_prompts(): ie_pre_history = [ ("你需要完成信息抽取，输出严格JSON，不存在填['原文中未提及']。", "好的，请输入。") ] for _type, example_list in ie_examples.items(): for example in example_list: sentence = example["content"] prop_str = ', '.join(schema[_type]) prompt_sent = IE_PATTERN.format(sentence, f'"{_type}"({prop_str})') ie_pre_history.append((prompt_sent, json.dumps(example["answers"], ensure_ascii=False))) return {"ie_pre_history": ie_pre_history} # 按轮次拼接prompt def build_prompt(query, history): prompt = "" for i, (q, a) in enumerate(history): prompt += f"[Round {i+1}]\n问：{q}\n答：{a}\n\n" prompt += f"[Round {len(history)+1}]\n问：{query}\n答：" return prompt # 推理函数 def inference(sentences, custom_settings): for sent in sentences: prop_str = ', '.join(schema["商品"]) prompt_sent = IE_PATTERN.format(sent, f'"商品"({prop_str})') full_input = build_prompt(prompt_sent, custom_settings["ie_pre_history"]) inputs = tokenizer(full_input, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=512, pad_token_id=tokenizer.eos_token_id) res = tokenizer.decode(outputs[0][len(inputs.input_ids[0]):], skip_special_tokens=True) print("抽取结果：\n", res) if __name__ == '__main__': model_path = r"E:\学习\大模型\qwen" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).cuda() model.eval() # 测试文本 test_sentences = [ '2024 潮流双肩包，品牌 PQR，材质耐磨，定价399元，优惠后349元，周销量800个。', '2024 智能手表，品牌华为，功能强大，续航强，售价1299元，优惠价999元。' ] custom_settings = init_prompts() inference(test_sentences, custom_settings)注意：最后是以JSON格式输出