PYTHON+AI LLM DAY ONE HUNDRED AND NINE

今天聊聊一下ABGEL算法:由字节跳动（ByteDance）于2025年5月推出的“理解与生成统一”的开源多模态基础模型（Scalable Generative Cognitive Model）1。它拥有70亿活跃参数（总计140亿参数），在大规模交错的多模态数据上进行了训练。核心架构：采用了混合 Transformer 专家（MoT, Transformer-Experts）架构。它包含两个独立的视觉编码器（一个用于捕获语义信息以理解，一个用于捕获像素信息以生成），以及两个Transformer专家（理解专家和生成专家）。这两个专家通过每一层的共享 Self-Attention 操作在相同的 token 序列上运行，实现多模态理解和生成之间的长上下文交互。训练范式：预测文本 token 时遵循 Next-Token-Prediction 范式，而预测视觉 token 时则采用 Rectified Flow 方法.Bagel：基于条件 VAE 的 KPI 异常检测算法.这是一个在IT运维和系统监控领域广泛应用的无监督异常检测算法。传统的 VAE 模型在处理时间序列数据（如 KPI 指标）时，容易忽略窗口之间的时间相关性，导致误报或漏报。核心原理：Bagel 算法基于条件变分自动编码器（CVAE），创新性地将“时间信息”作为输入条件引入模型中。解决痛点：为了避免 CVAE 在拟合具有周期性的 KPI 时间信息时出现过拟合，Bagel 在神经网络中添加了额外的 Dropout 层，从而构建了一个鲁棒的全局模型。效果：相比之前的先进算法（如 Donut），Bagel 大大提高了对包含时间信息和周期性异常检测的鲁棒性，显著提升了最佳 F1-score.Bagel：Apache Spark 的图计算框架.这是 Apache Spark 生态中的一个库，是 Google Pregel 图处理框架的 Spark 实现。编程模型：它将图表示为分布式数据集，作业以一系列称为“超级步（supersteps）”的迭代运行。在每个超级步中，每个顶点运行用户指定的函数，更新自身状态，并向其他顶点发送消息以供下一次迭代使用。现状：需要注意的是，Bagel 即将被 Spark 的 GraphX 库取代，官方建议新用户使用 GraphX 来替代.