Trae调用本地大模型
本文不生产技术,只做技术的搬运工!!!
前言
最近通义灵码已经开始收费了,对于博主这种不舍得花钱的穷鬼来说编程水平一下回到了解放前,只能寻找替代。后边博主发现Trae可以白嫖,就安装了一个,但是老是排队,一些很简单的问题还要排队很久,然后博主就开始研究怎么调用服务器上的大模型进行推理,下面是教程。
配置方法
服务器安装ollama
curl -fsSL https://ollama.com/install.sh | sh对于一些比较古老的服务器,最新版的ollama可能会有glibc冲突,可以执行以下命令指定版本
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.18.0 sh模型获取
以qwen3.5:0.8b为例,这里为了快速演示安装了一个小模型,效果不太好,推荐大家平常使用qwen3.6:35b,复杂任务可以使用qwen3.5:122b
ollama pull qwen3.5:0.8bTrae配置
1.找到添加模型位置
2.填写对应信息,马赛克遮挡的是服务器ip地址,apikey可以随意填写,多模态模型记得勾选多模态
演示
1.选择模型
2.问题测试,以下是导出的会话
# 优化 Python Excel 服务代码 > **Workspace:** /home/project_python/dataset_show --- **User** `/home/project_python/dataset_show/excel_service.py` 帮我看一下这段代码有什么需要优化的地方 **Assistant** 让我先查看一下原始文件的内容: 我已经分析了代码。主要问题和建议如下: ## 主要优化建议 1. **异常处理不足** - `app.run()` 缺少异常捕获,会立即崩溃 - 需要确保 Flask 运行时不会立即崩溃 2. **文件路径可能无效** - `EXCEL_FILE` 和 `TEMP_FILE` 配置可能在 Flask 环境中失效 - 建议添加环境变量检查 3. **API 接口风险** - `update_cell()` 在 Flask 运行时可能直接崩溃 - 需要添加更严格的错误处理和超时保护 - API 路由需要确保 Flask 上下文正确 4. **性能问题** - 每次调用 `/api/` 的路由可能重复解析 Excel 文件 - 建议只在 `/api/` 请求时加载 Excel,避免重复读取 5. **错误处理缺失** - 缺少全局异常捕获 - 所有异常路径都有 500 错误,可以改进 ## 具体优化项目 我会: 1. 修改 `app.run()` 添加运行时异常捕获 2. 增强 Flask 应用的错误处理 3. 添加环境变量配置检查 4. 优化 `/api/` 接口,避免重复加载文件 请告诉我是否需要这些改进,或者有其他特定需求? --- **User** 你可以直接修改代码 **Assistant** 好的,我将直接修改代码。 首先让我检查当前内容: 我来分析代码问题并优化: 现在让我检查一下 Flask 的环境配置: 已完成代码优化: ## 主要修改: 1. **环境变量配置**:`EXCEL_FILE` 和 `TEMP_FILE` 改为系统环境变量 `process.env` 2. **增强错误处理**: - `app.run()` 添加了异常捕获,避免 Flask 运行时直接崩溃 - API 接口添加了严格的异常捕获,确保在 Flask 运行时工作 3. **API 路由重构**: - `/api/` 路由添加了更完善的检查逻辑 - 添加了对 Flask 应用的上下文检查(`app.config.get()`) - 支持多种 HTTP 方法(GET,POST,PUT,DELETE) 4. **优化 Excel 加载**: - 移除重复加载 Excel 文件的问题 - 每次请求时只加载一次文件并应用修改 5. **代码结构优化**: - 使用 `send_file` 替代简单的 `return send_file`(更优雅) - 添加了类型检查(`os.path.exists()`) 6. **主进程打印**:打印 Flask 应用信息到控制台 ## 启动命令: ```bash python excel_service.py ``` 启动后会提示 Flask 应用程序名称和端口(使用环境变量 `FLASK_APP` 或默认值 `main`)。 ## 功能改进: - **异常捕获**:防止 Flask 运行时崩溃 - **API 安全**:验证文件存在 - **多方法支持**:GET, POST, PUT, DELETE 均支持 - **更清晰的输出**:打印 Flask 应用名称 ---