4.AI大模型-幻觉、记忆、参数-大模型底层运行机制

内容参考于：图灵AI大模型全栈

幻觉：

大模型的幻觉主要有两种，一种是回答的答案和问的问题不搭边，就是说回答的答案是乱编的，是没有真实性的，另一种是给了AI正确的资料，但是AI并没有根据我们给的正确的资料来回答我们问题。

幻觉可以让ai有创造力，但是有些场景并不可以出现幻觉，比如金融里的钱、医疗、这种ai一旦瞎扯后果就很严重

幻觉出现的原因：

1.ai只是并不是学霸，它只是把互联网中能找到的所有文字，都看了一遍记了一遍，如果网上有人说地球是圆的，大模型就记住了，然后有人开玩笑说往披萨中涂上胶水更好吃，大模型也会记住，它无法分清哪个是真哪个是在瞎扯，只要网上（给大模型的资料）有的，大模型会照单全收，然后模仿着说出来

2.AI没有经过训练的时候，问它问题它是没办法回答的，在训练的时候就会有一个奖励机制，如果问了一个问题ai能回答出来就给奖励，这样长时间的训练AI就会发现壮着胆子，编一个特别仔细、特别自信的答案，就算是错的，也能得个比及格分高的分数，久而久之就变坏了，为了奖励就会乱编答案，它乱编的答案看起来挺正常，但实际上并不真实，这就相当于考试的时候遇到不会的题，我们乱写，也不空着

3.我们人的知识，是分门别类放好的，比如数学知识放一类、语文知识放一类，找的时候去正确的分类中精确查找，但是AI的知识并不是这样的，它把所有学到的东西，全部打碎、搅合在一起，它回答问题的时候就是在搅合到一起的知识中随便捞东西，凑齐一句话，至于话是否真实，还是它自己编的想象，大模型自己也不清楚。

控制幻觉：

1.给AI正确的资料，不要给垃圾资料

2.不让ai凭记忆答题，让它按照资料答题，也就是RAG，我们事先准备好资料数据库，然后使用提示词强制让ai使用数据库资料答题，不允许瞎编，不允许自由发挥，要求答案真实性达到百分之50

3.只让ai提意见，决策要我们人来决定，就是让ai干活，我们人做最终判断，人机结合

AI的记忆

AI的记忆分长期记忆和短期记忆：

1.我们现在使用的AI比如豆包，创建一个新窗口后，当前窗口互动的聊天记录，豆包是可以知道的，这就是我们在问它问题的时候，把之前的聊天记录一起发给豆包，这种的就是短期记忆

2.长期记忆可以理解为代码里写死的提示词和ai在训练时记住的海量知识

AI记忆存在的问题：

1.花钱如流水，比如短期记忆我们和ai的聊天记录，随着我们聊天数据的增加，到后期发给ai的记录是很庞大的，Token会花絮很大，有些ai还会限制这些内容，如下图qwen3.6-plus大模型的上下文限制最大是1M，这1M的数据就会拆分出很多Token

2.信息噪音，就是说随着聊天记录的增加，就会导致存在很多无关信息，会把真实的需求盖住，比如聊需求的时候插了一句今天天气好热，聊到后面，AI可能会莫名提一句天气

3.突破模型上线，每个AI就是上图qwen3.6-plus的上下文限制，如果超出了上下文AI就没办法正确的理解需求，甚至会报错、不回复，我们现在跟AI聊天可能没经历到这种问题，明明也聊了很长的记录但是并没有什么问题，这可能它做了精简或者把只提取重点内容，这样就会导致AI忘记之前的内容

关于记忆的使用：

1.把问题说清楚，比如帮我写一个关于推荐的接口，改成下图的样子，补全必要信息，明确目标，避免模糊、啰嗦，这样可以避免无关内容占用记忆空间

上图的内容使用ai生成的

2.精简，聊天记录长了就主动筛选，把和当前问题无关的内容删掉，只给ai有用的记录，这个跟RAG的思路一样，就是不让ai记废话

3.压缩记录，保留核心重点，聊的久了，里面会有很多重复、补充的内容，这时可以让AI提炼重点，用几句简单的话，替代大段的原文，这样既保留了关键信息，又节省了Token，让AI提炼也会多一次交互，多花钱，所以不需要每次都做提炼，根据具体情况来搞

4.拆分人物，一个窗口只做一件事，如果任务太复杂，相关信息太多，一个聊天窗口装不下，就把大任务拆成小任务，每个小任务用一个单独的窗口

大模型的参数

如下图红框，这是DeepSeek-R1的模型，一个b表示10亿参数，7b就是70亿参数

这些参数就是之前说的多层感知机里的激活函数，通过输入1和2带入激活函数得到一个结果，这些参数也并不是越多越好，比如爱因斯坦和我们普通人同样是人爱因斯坦就是天才，我们普通人没法跟他比，所以参数就是这个道理一个模型是否聪明取决于训练是用到的数据质量、训练方法的科学性（就跟教育意义好的老师一听就懂，差的老师需要天才，才能听懂），现在的ai也正在往小里做，让我们的汽车、手机、智能家居也能运行