SpringAI与Ollama：Java开发者如何轻松构建本地LLM应用

1. SpringAI：Java生态的LLM桥梁

第一次接触SpringAI时，我正为一个电商项目发愁——需要快速实现智能客服功能，但又不希望依赖第三方API的响应速度和费用。SpringAI的出现完美解决了这个痛点。这个由Spring官方推出的AI框架，把大语言模型(LLM)的能力像Spring Data操作数据库那样自然地集成到了Java生态中。

最让我惊喜的是它的模块化设计。上周帮同事调试一个图像生成功能时，只需要在pom.xml里把openai模块换成stabilityai，代码几乎不用修改就完成了切换。这种"写一次，随处运行"的特性，正是Spring哲学在AI领域的延续。

目前支持的模型提供商多达20+家，从商业化的OpenAI到开源的Llama2应有尽有。最近在尝试Mistral 7B模型时，发现只需要改两处配置：

// application.properties spring.ai.openai.api-key=你的密钥 spring.ai.openai.chat.model=gpt-4 // 切换成Mistral只需改为 spring.ai.mistralai.api-key=新密钥 spring.ai.mistralai.chat.model=mistral-7b

实际开发中这些特性特别实用：

• 同步/异步双模式：处理批量请求时用异步流式接口，吞吐量提升了3倍
• 统一的向量存储API：我们先用Redis做原型，上线前无缝迁移到Pinecone
• 函数调用：让LLM自动触发库存查询接口，省去了大量解析代码

提示：SpringAI的ETL工具超级好用，把PDF手册转成向量数据库只要5行代码，比Python生态的LangChain简单多了

2. Ollama：本地LLM的瑞士军刀

去年在MacBook Pro上跑Llama2时，光环境配置就折腾了两天。直到发现Ollama这个神器——它就像Docker for LLM，把模型依赖、运行环境全都打包好了。现在团队新人都能10分钟搭好本地开发环境。

最近在Ubuntu服务器上部署Gemma模型时，记录了下完整流程：

# 安装（Linux/macOS通用） curl -fsSL https://ollama.com/install.sh | sh # 运行模型（自动下载） ollama run gemma:2b # 后台运行 nohup ollama serve > /dev/null 2>&1 &

Ollama的模型管理特别人性化：

• 支持GGUF格式的量化模型，我的32G内存笔记本能跑13B参数模型
• Modelfile可以自定义系统提示词，把公司规范内置到模型中
• REST API响应速度<200ms，完全能满足生产需求

实测对比发现，通过Ollama本地运行的模型比云服务有两个明显优势：

1. 隐私安全：客户数据不出内网，符合金融行业合规要求
2. 成本控制：长期使用成本只有API调用的1/10

3. 实战：智能文案生成系统

结合SpringAI和Ollama，我们给旅游平台做了个智能文案系统。分享下核心代码和踩坑经验：

配置关键点：

# application.yml spring: ai: ollama: base-url: http://localhost:11434 chat: model: gemma:2b temperature: 0.7 max-tokens: 500

服务层代码示例：

@RestController public class CopywritingController { @Autowired private OllamaChatClient chatClient; @PostMapping("/generate") public Flux<String> generateCopy(@RequestBody PromptTemplate prompt) { return chatClient.stream(prompt.render()); } }

提示词模板这样设计效果最好：

你是一位资深{行业}运营专家，请为{产品}创作一则吸引年轻人的文案，要求： 1. 使用网络流行语 2. 突出{卖点} 3. 包含行动号召 4. 限制在100字内

遇到的典型问题及解决方案：

• 中文输出不稳定：在Modelfile添加FROM gemma:2b\nSYSTEM 你始终用简体中文回答
• 响应速度慢：在Ollama启动参数加--numa --num-gpu-layers 20
• 格式混乱：在提示词明确要求"不要使用Markdown格式"

4. 进阶技巧与性能优化

经过三个月的实战，总结出这些提升体验的秘诀：

内存优化方案：

• 使用llama.cpp量化过的4bit模型，内存占用减少70%
• 给JVM添加-XX:+UseZGC参数降低GC停顿
• Ollama启动时设置OLLAMA_MAX_LOADED_MODELS=3防止内存溢出

缓存策略：

@Cacheable("aiResponses") public String getCachedResponse(String prompt) { return chatClient.call(prompt); }

监控方案：

1. 用Prometheus采集Ollama的/api/tags端点数据
2. Spring Actuator监控AI调用耗时
3. 自定义指标记录提示词命中率

混合部署架构：

• 开发环境：本地Ollama + SpringAI
• 生产环境：Kubernetes集群部署多个Ollama实例
• 灾备方案：配置SpringAI的fallback到Azure OpenAI

最近在尝试用SpringAI的函数调用功能实现自动SQL生成，发现结合Hibernate的元数据特别顺畅。当LLM能直接操作数据库时，很多CRUD接口都不用写了，这可能是下一个生产力爆发点。