dspy
https://github.com/stanfordnlp/dspy
DSPy is the framework for programming—rather than prompting—language models. It allows you to iterate fast on building modular AI systems and offers algorithms for optimizing their prompts and weights, whether you're building simple classifiers, sophisticated RAG pipelines, or Agent loops.
DSPy stands for Declarative Self-improving Python. Instead of brittle prompts, you write compositional Python code and use DSPy to teach your LM to deliver high-quality outputs. Learn more via our official documentation site or meet the community, seek help, or start contributing via this GitHub repo and our Discord server.
https://dspy.ai/
https://www.youtube.com/watch?v=JEMYuzrKLUw
https://www.bilibili.com/video/BV1vWt3zCE9j/?vd_source=57e261300f39bf692de396b55bf8c41b
https://zhuanlan.zhihu.com/p/14379055281
https://zhuanlan.zhihu.com/p/707184607
import dspy from dspy.datasets import HotPotQAdspy.configure(lm=dspy.LM("openai/gpt-4o-mini"))def search_wikipedia(query: str) -> list[str]:results = dspy.ColBERTv2(url="http://20.102.90.50:2017/wiki17_abstracts")(query, k=3)return [x["text"] for x in results]trainset = [x.with_inputs('question') for x in HotPotQA(train_seed=2024, train_size=500).train] react = dspy.ReAct("question -> answer", tools=[search_wikipedia])tp = dspy.MIPROv2(metric=dspy.evaluate.answer_exact_match, auto="light", num_threads=24) optimized_react = tp.compile(react, trainset=trainset)
https://zhuanlan.zhihu.com/p/707184607
随着大语言模型的爆火，提示技术快速发展，人们开始探索新的提示优化技术。2023年10月，斯坦福大学NLP团队发布了DSPy，并在论文《DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines》中介绍了其技术实现细节。
DSPy是一个对语言模型Prompt和权重进行算法优化的框架，旨在简化基于LLM的应用的复杂构建过程。DSPy强调通过编程而非硬编码Prompt构建基于LLM的应用。其将构建大模型流水线的过程从操纵基于字符串的提示技术转变为接近编程的方式。DSPy的设计灵感来自于神经网络抽象的共识，其中包括两个关键概念：
- 建立一种通用的机制，并通过模块化组合的方式实现。
- 模型权重可以使用优化器进行训练，而不是手工调整。
DSPy (Declarative Self-improving Python) 已经被众多知名企业成功应用于生产环境，涵盖了从航空、金融、电商到科技等多个行业领域。
🚀 大型科技公司应用案例
JetBlue航空公司
- 应用场景：构建多功能聊天机器人工作流，包括客户服务和预测性维护
- 成果：自动化多个聊天机器人工作流，显著提升客户服务效率
Replit
- 应用场景：使用DSPy管道合成代码修复差异
- 成果：优化编程体验，提高代码开发效率
Databricks
- 应用场景：开发LLM-as-a-Judge、RAG（检索增强生成）和分类等解决方案
- 成果：构建企业级AI应用，提供全面的AI解决方案
VMware
- 应用场景：应用于RAG（检索增强生成）和提示优化
- 成果：优化企业级AI应用的性能和可靠性
🛍️ 零售和电商企业
Sephora
- 应用场景：在DAIS会议中分享了基于DSPy的代理应用
- 成果：在美妆零售领域应用AI技术
Zoro UK
- 应用场景：在电商平台中使用DSPy优化结构化购物体验
- 成果：提升用户购物体验和转化率
腾讯TiDB
- 应用场景：在TiDB项目中应用DSPy
- 成果：在数据库领域应用AI技术
🏢 企业软件公司
PingCAP
- 应用场景：使用DSPy构建知识图谱
- 成果：在数据库领域应用AI技术
Haize Labs
- 应用场景：用于LLM的自动化红队测试
- 成果：提升AI模型的安全性和鲁棒性
Plastic Labs
- 应用场景：在Honcho平台中构建多种DSPy管道
- 成果：开发多样化的AI应用
💰 金融科技应用
StockChat
- 应用场景：集成DSPy提供强大的金融分析能力
- 成果：实时可视化交易信号，帮助用户快速做出决策
基于AI的A股投资决策系统
- 应用场景：多维度分析，结合技术、基本面、情绪和估值
- 成果：自动设置止损止盈，支持多股票组合管理
📊 行业应用场景
零售分析
DSPy在零售行业中可用于销售预测、客户细分和推荐系统的构建，通过分析历史销售数据帮助零售商识别销售趋势、优化库存管理，并为客户提供个性化的购物建议。
金融风险评估
金融机构利用DSPy对客户的信用评分、贷款违约风险进行评估，通过对客户的财务数据进行建模，预测潜在的违约风险，并帮助制定相应的风险管理策略。
医疗诊断
DSPy在医疗领域可用于预测疾病、分析患者数据、优化诊断流程，通过整合医疗记录和临床数据帮助医生识别高危患者、改进治疗方案，并提升诊断的准确性。
制造业预测维护
制造企业使用DSPy进行设备故障预测和维护优化，通过分析机器的传感器数据预测设备的故障时间，帮助企业提前安排维护，从而减少停机时间和维修成本。
🌟 生产环境部署能力
DSPy提供了完整的生产环境部署解决方案，支持多种部署方式：
- FastAPI轻量级部署：适合快速验证和简单服务
- MLflow生产级部署：提供更完整的解决方案，支持长期维护、版本控制和团队协作
- Kubernetes部署：支持容器化部署，具备高可用性和可扩展性
这些企业案例充分证明了DSPy在生产环境中的成熟度和可靠性，使其成为构建企业级AI应用的理想选择。