工作流应用范式
本文主体是郑立老师在datawhale的宣讲，精练易懂。
辅以一些本人的看法，希望各位大佬一起交流指正。
什么是工作流
环节出错需要有 fallback 的逻辑
通过可视化和预处理把数据向量化处理到最佳的状态，方便RAG的相关性搜索
然后介绍了 Dify 的插件能通过赋能提高生产力
可控、标准化
背景：为了提高生产效率和产量
原理（~工业化）：将复杂的生产过程分解为多个标准化、重复性的简单步骤，并由不同的工人在流水线上轮流执行，从而加速产品的生产过程
目前有哪些框架
- 低代码：n8n, coze
- 高代码：crew, camel
可视化效果不同
DSL（Domain-Specific Language，领域专用语言）
是一种为某一特定领域量身定做的语言，只关注这个领域里最重要的概念和规则，用来更简单、直观、高效地表达问题和解决方案。
核心思想就是通过抽象让复杂简单化
“挠自己的痒处”
当你开发你自己使用的产品时，你就是自己产品的测试者，那么就能感受到产品的痛点（这个我在开发抢课脚本时深有体会 https://github.com/ceilf6/Auto_courseGrabber ）
如何选择合适的模型
对比是为了回答问题
答案则是问题本身
优劣势？如何选型？怎么投产？
代码生成领域中：代码生成（如codex等等）+ bug修复模型，那就可能用到 reansoning 推理型模型
金融、银行这类需要私有化部署：离线部署 - Ollama本地部署，确保数据在防火墙之内
常见的RAG架构
- Naive RAG
- Advanced RAG
- Agentic RAG
- Knowledge Pipeline
RAG is Dead,Context Engineering is King
但其实他们本质都是为了将正确的内容放在大模型上下文中
主要关注两个方面
- 索引策略
例如代码需要创建副本快速索引，还有例如正则搜索 - 记忆
1. Naive RAG
将相关内容查询到后，和用户的问题进行结合后作为 prompt 给LLM
最早用于解决幻觉的一个方式
2. Advanced RAG
在1基础上加入了 ReRank 过程，会由模型评估相关性然后按其进行排序在上下文中的顺序
3. Agentic RAG
引入了自主的 RAG代理agent
就会主动推理、调用工具等，进行制定策略、补充等，一直到终止边界条件
4. Knowledge Pipeline
进行工具替换、迭代（我的理解是像组件化）
行业案例 - 故障树分析FTA
FTA: 将数据转换为清晰的因果关系，主要在于结构，如逻辑门
在半导体工厂中，步骤很多，提取故障点难度高
（老师没怎么讲细节）
QA
Q: Dify教程
A: 老师的小红书、dify101
Q: 长上下文情况下大语言模型置信度降低
A: 重排序、置信空间，合理的切分、拆分
Q: embedding model
A: Qwen