Claude频发Bug，AI安全引担忧

近日，Claude被爆出存在严重Bug，分不清用户与系统发言，甚至将恶意指令当合法请求。此问题在Hacker News引发热议，也暴露出大模型的安全隐患。

Claude现身份识别障碍

Claude 3.5和Claude 4系列在处理复杂或恶意上下文时，出现身份识别障碍。开发者实测发现，嵌入特殊截断字符会扰乱其代码逻辑，将恶意数据当既定指令，根源在于Transformer架构注意力机制的盲区。

网友探讨避坑方案

技术社区极客们开始探讨工程应用层面的防火墙方案。呼声高的是在模型训练底层引入不可伪造界定符，还有采用双模型架构，用审计模型盯主模型输入输出，发现问题切断对话。

多因素影响Claude体验

为给新模型Mythos腾算力，Anthropic调整Claude服务API调用和算力分配，导致开发者体验不稳定。Claude处理复杂逻辑的深度思考长度削减67%，长文本推理和代码生成能力降级。

计费系统现乌龙

Claude还出现计费系统故障，用户发一句“Hello”就被判定消耗大量Token，清零账号额度，这一系列问题让大家对Anthropic不满。

其他模型或存类似问题

帖子最后提到，不仅Claude，ChatGPT也可能有类似问题，初步猜测触发条件之一是聊天接近上下文窗口极限。

编辑观点：Claude的Bug反映出大模型在安全和稳定性上的不足。在底层架构改进前，接入关键业务需谨慎，未来大模型安全问题亟待解决。