当前位置: 首页 > news >正文

归一化:L2Norm朴素

L2Norm朴素.h

// L2Norm朴素.h —— L2 范数归一化(沿向量整体)朴素标量实现声明// 用途:DeltaNet 中 q/k 按每个 (头, token, seq) 切片独立归一——本函数处理单个切片,外层负责切片遍历#pragmaonce// 引入基础类型(浮点/size_t 别名)#include"公共/基础定义.h"// L2Norm朴素:对单向量按 L2 范数(欧氏长度)归一// 公式:$$ \hat{x}_i = \frac{x_i}{\sqrt{\sum_{j} x_j^2 + \epsilon}} $$// 纯文本:x̂_i = x_i / sqrt( Σx_j² + ε )// 注意与 RMSNorm 区别:RMSNorm 除数带 1/d(除以均值),L2Norm 除数不带 1/d(除以总和)。// 参数:输入 = 待归一化向量起点;输出 = 结果起点;元素数 = 切片长度;// epsilon = 防除零常数(DeltaNet 用 1e-6)// 说明:调用方负责把 q/k 按 (头, token, seq) 切分后对每个切片调用本函数voidL2Norm朴素(constfloat*输入,float*输出,size_t 元素数,floatepsilon);

L2Norm朴素.cpp

// L2Norm朴素.cpp —— L2 范数归一化(沿向量整体)朴素标量实现// 用途:把单切片向量缩放到单位长度(欧氏范数 = 1),除数不带 1/d(区别于 RMSNorm)#include"内核/归一化/L2Norm朴素.h"// 引入标准头:平方根 sqrt#include<cmath>// L2Norm朴素:按 L2 范数归一单向量// 公式:x̂_i = x_i / sqrt( Σx_j² + ε )// 实现:先累加全部元素的平方和(double 累加防精度损失),开方后逐元素相除voidL2Norm朴素(constfloat*输入,float*输出,size_t 元素数,floatepsilon){// 第一步:累加平方和(不除以元素数——这是与 RMSNorm 的关键区别)double平方和=0.0;for(size_t i=0;i<元素数;++i){平方和+=static_cast<double>(输入[i])*输入[i];}// 第二步:L2 范数 = sqrt( Σx_j² + ε )constdouble范数=std::sqrt(平方和+static_cast<double>(epsilon));// 第三步:逐元素除以范数(double 中间量保证精度)for(size_t i=0;i<元素数;++i){输出[i]=static_cast<浮点>(static_cast<double>(输入[i])/范数);}}
http://www.jsqmd.com/news/1357008/

相关文章:

  • AI量化分析:如何用数学模型优化技术社区更文策略
  • SpringBoot+Vue3+MyBatis社区团购系统架构解析
  • GitHub/Gitee 团队协作笔记
  • google-search cookie NID生成算法分析
  • MyBatis Plus核心功能与最佳实践解析
  • 如何撰写高质量技术博文:内容策划指南
  • AI如何助力本科生高效完成毕业论文写作
  • 从软银财报看AI投资趋势:开发者如何应对技术周期与职业风险
  • 2026 年现阶段广东值得关注的铸铁方闸门供货商哪家靠谱,谁也没想到工厂排水的核心防线,居然是这不起眼的它 - 企业官方推荐【认证】
  • Kafka源码分析环境搭建
  • 企业需求分级管理:从理论到实践的完整指南
  • Navicat数据库管理工具八大核心亮点深度解析
  • Excel项目管理模板与专业工程系统的技术边界与选型策略
  • 从10ms到0.1ms:小语言模型在6G边缘的延迟-精度-大小三角博弈
  • 旋转:IMRoPE朴素
  • 用DeepSeek给Qt私有协议自动生成QWidget表单?一套「XML描述+AI代码补全」的联动工作流
  • 总结 8.08
  • 零成本容器化部署实战:从Dockerfile到Serverless应用托管
  • Godot地形插件深度对比:轻量级高度图方案为何是独立开发首选?
  • AI Agent如何重塑软件开发:从代码生成到自主规划的技术演进
  • AI Agent时代的基础设施重构:从确定性API到智能体优先的架构演进
  • 2026 年现阶段,随州比较好的ai获客系统公司怎么联系,别再发传单求客户了,这玩意儿让同行都来问获客的门道 - 行业鉴选官
  • IPC_LOG与DYN_DEBUG:分布式系统通信监控实战解析
  • ComfyUI 2026保姆级安装指南:从零部署到高效AI绘画
  • 显现的螺旋:空泡、灰度与不可抵达的无穷
  • AI编程助手实战指南:从焦虑到高效协作的开发者进化之路
  • AI设计工作流实战:从Figma到代码的自动化生成与协作
  • 哈希表在Two Sum问题中的高效应用与优化
  • 【Bug已解决】OSError: You are trying to access a gated repo. 解决方案
  • SpringBoot+Vue构建榆林旅游网站管理系统的实战经验