当前位置: 首页 > news >正文

CANNBot Epilogue后处理模式

Kernel 路由:Epilogue 后处理模式

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills

占位文件。本文档将系统性地描述 catlass Epilogue 的各种组合模式和自定义方法。

Epilogue 概述

BlockEpilogue 在 BlockMmad 计算完成后对输出矩阵做逐元素后处理。catlass 提供了多种 EpilogueDispatchPolicy,每种对应固定的 Tile 槽序列。

常见 EpilogueDispatchPolicy

Policy所在头文件槽数典型用途
EpilogueAtlasA2ElemWiseNoSourceblock_epilogue_elemwise_no_source.hpp1纯激活(GELU/SILU/RELU)
EpilogueAtlasA2ElemWiseOneSourceblock_epilogue_elemwise_one_source.hpp2Bias + 激活
EpilogueAtlasA2PerTokenDequantblock_epilogue_per_token_dequant.hpp5Per-token 反量化
EpilogueAtlasA2ElemWiseOneSrcFixpipe......950 芯片 Epilogue

现有 Epilogue 组件(catlass 内置 Tile)

Tile 名功能使用场景
TileElemWiseGeluGELU 激活Matmul + GELU
TileElemWiseSiluSILU 激活Matmul + SILU
TileElemWiseReluRELU 激活Matmul + RELU
TileElemWiseClamp数值裁剪输出范围控制
TileCopy数据搬运Bias 搬运 / 格式转换
EpilogueTileSwizzleSwizzle 写回输出重排

自定义 Tile(粒度 A)流程

  1. 打开目标 EpilogueDispatchPolicy 的特化头文件,确认目标槽位的接口签名(模板形参集合、operator()入参、必要 typedef)
  2. 编写自定义 Tile 头文件,严格对齐签名
  3. 在 catlass 拼装头中用自定义 Tile 替换原槽位的 Tile

详见references/custom-epilogue.md

完整的后处理模式清单和组合指南待后续补充。

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

http://www.jsqmd.com/news/896067/

相关文章:

  • 为什么你的财务分析总是“事后诸葛亮“?一套指标体系让企业从“失控“到“可控“
  • 为内部知识问答 Agent 集成 Taotoken 作为可靠的大模型供应商
  • csp信奥赛C++高频考点专项训练之前缀和差分 --【一维差分】:[NOIP 2012 提高组] 借教室
  • 武汉名表回收哪家强?劳力士欧米茄5店实地比价,5月最新行情 - 奢侈品回收测评
  • AAOS系列之(七) --- AudioRecord录音逻辑分析(一)
  • 终极指南:Hap QuickTime编解码器 - 现代GPU加速视频压缩完整教程
  • 如何高效下载B站大会员视频:5分钟快速上手完整指南
  • 国家中小学智慧教育平台电子课本下载:三步轻松获取PDF教材的完整解决方案
  • 用VTK Glyph3D为流线图注入方向感
  • 深度伪造时代:构建四层防御体系的证据工作流升级指南
  • 多模态大模型技术原理与融合机制深度解析
  • 南昌雅特机电设备:南昌发电机维修哪家靠谱 - LYL仔仔
  • 多智能体协作实战:框架选型vs自研,企业到底怎么选?
  • ECDICT:免费开源英汉词典数据库的终极指南,轻松构建你的语言学习应用
  • 2026年西安净化板厂家推荐排行榜:手工/机制净化板,彩钢岩棉/硅岩/硫氧镁/中空玻镁板,50-100mm厚多规格源头工厂优选 - 品牌企业推荐师(官方)
  • 3分钟免费激活Windows:智能激活工具终极指南
  • 【Agent智能体7 | 智能体设计模式】
  • arXiv论文管理神器:如何用开源工具高效追踪AI研究动态
  • 保姆级教程:从零搞定Sentinel-2 L2A数据下载与Python读取(附避坑指南)
  • 从像素到代码:Mesen如何让NES游戏在现代电脑上重生
  • FanControl:Windows风扇控制终极指南,3步实现零噪音电脑
  • 3步实现HoneySelect2完整汉化与MOD整合:HS2-HF Patch终极指南
  • Adobe GenP 3.0:如何为Adobe Creative Cloud软件实现批量功能解锁
  • 大模型推理优化与工程落地核心技术详解
  • Nigate技术实现深度解析:macOS NTFS读写解决方案架构设计
  • JSON操作封装
  • 2026浙江鞋样设计培训行业标杆名录:5家学校的办学实力与选校参考 - 深度智识库
  • [实战] 扫描图纸怎么添加气泡?制造业质量检验图纸数字化处理全指南
  • CefFlashBrowser:一款免费Flash浏览器,轻松重温经典Flash游戏与内容
  • KMS_VL_ALL_AIO:智能激活引擎的技术赋能之旅