当前位置: 首页 > news >正文

AI大模型与数学 第34课 多元复合偏导数:多变量链式求导(10道AI梯度核心计算题)

课程前言
一元复合链式是单层网络梯度,多元复合链式法则是大模型反向传播的底层核心。

一元函数是一个因素对结果的影响,多元复合链式法则是多个因素相互作用对结果的影响。
我们为了寻求最佳结果,必须对影响结果因素的相互作用进行计算求导,找到最优路径。l

二元复合通用模型:z=f(u,v),\ u=\varphi(x,y),\ v=\psi(x,y)l
链式公式:
\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\cdot\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\cdot\frac{\partial v}{\partial x}
\frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\cdot\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\cdot\frac{\partial v}{\partial y}
AI对应逻辑:
z = 损失函数;u、v = 隐藏层输出;x、y = 网络权重参数
多层网络梯度回传,就是多层多元链式连加连乘,Transformer、CNN全部依靠该公式完成参数更新。

一、核心计算规则(通俗解读)

  1. 多路径求和:损失可通过多条中间变量影响权重,梯度全部相加;
  2. 逐层相乘:外层函数偏导 × 内层变量偏导,对应跨层梯度传递;
  3. 复合层数越多,链式计算步骤越多,深层大模型梯度链路更长。
    一件事情,多个影响结果的因素,我们如何分析因素达到最佳结果。

二、10道多元复合链式计算题(完整步骤+AI场景解读)
题1
z=u^2+v,\ u=2x,\ v=3y,求\dfrac{\partial z}{\partial x},\dfrac{\partial z}{\partial y}
解:
\dfrac{\partial z}{\partial u}=2u,\ \dfrac{\partial z}{\partial v}=1
\dfrac{\partial u}{\partial x}=2,\dfrac{\partial u}{\partial y}=0;\ \dfrac{\partial v}{\partial x}=0,\dfrac{\partial v}{\partial y}=3
\dfrac{\partial z}{\partial x}=2u\cdot 2=4u=8x
\dfrac{\partial z}{\partial y}=1\cdot 3=3
AI解读:两层简单网络,两条独立特征支路,权重梯度互不干扰,浅层全连接基础梯度计算。

题2
z=u+v^2,\ u=x+y,\ v=x-y,对x、y求偏导
解:
\dfrac{\partial z}{\partial u}=1,\dfrac{\partial z}{\partial v}=2v
\dfrac{\partial u}{\partial x}=1,\dfrac{\partial u}{\partial y}=1;\ \dfrac{\partial v}{\partial x}=1,\dfrac{\partial v}{\partial y}=-1
\dfrac{\partial z}{\partial x}=1\cdot1 + 2v\cdot1=1+2(x-y)
\dfrac{\partial z}{\partial y}=1\cdot1 + 2v\cdot(-1)=1-2(x-y)
AI解读:特征融合网络,x、y两个权重同时作用两条中间特征,梯度叠加求和。

题3
z=e{u+v}, u=x2,\ v=2xy,求\partial z/\partial x
解:
\dfrac{\partial z}{\partial u}=\dfrac{\partial z}{\partial v}=e^{u+v}
\dfrac{\partial u}{\partial x}=2x,\ \dfrac{\partial v}{\partial x}=2y
\dfrac{\partial z}{\partial x}=e^{u+v}\cdot2x + e{u+v}\cdot2y=2(x+y)e{x^2+2xy}
AI解读:指数激活融合双特征,注意力模块特征加权梯度计算模板。

题4
z=\sin(u),\ u=x^2+3y,求两个一阶偏导
解:
\dfrac{\partial z}{\partial u}=\cos u
\dfrac{\partial u}{\partial x}=2x,\ \dfrac{\partial u}{\partial y}=3
\dfrac{\partial z}{\partial x}=2x\cos(x^2+3y)
\dfrac{\partial z}{\partial y}=3\cos(x^2+3y)
AI解读:RoPE旋转位置编码复合函数,位置参数多层嵌套梯度求解。

题5
z=uv,\ u=3x-y,\ v=x+2y,求偏导数
解:
\dfrac{\partial z}{\partial u}=v,\dfrac{\partial z}{\partial v}=u
\dfrac{\partial u}{\partial x}=3,\dfrac{\partial u}{\partial y}=-1;\ \dfrac{\partial v}{\partial x}=1,\dfrac{\partial v}{\partial y}=2
\dfrac{\partial z}{\partial x}=3v+u=3(x+2y)+3x-y=6x+5y
\dfrac{\partial z}{\partial y}=-v+2u=-(x+2y)+2(3x-y)=5x-4y
AI解读:特征交叉相乘层,权重耦合梯度,大模型多头注意力交互项底层运算。

题6
z=u3, u=x-y2,求\partial z/\partial x、\partial z/\partial y
解:
\dfrac{\partial z}{\partial u}=3u^2
\dfrac{\partial u}{\partial x}=1,\ \dfrac{\partial u}{\partial y}=-2y
\dfrac{\partial z}{\partial x}=3(x-y2)2
\dfrac{\partial z}{\partial y}=-6y(x-y2)2
AI解读:高次损失嵌套线性特征,权重y的梯度带二次衰减,对应权重衰减正则效果。

题7
z=\ln(u+v),\ u=xy,\ v=x,求对x偏导
解:
\dfrac{\partial z}{\partial u}=\dfrac{\partial z}{\partial v}=\dfrac{1}{u+v}
\dfrac{\partial u}{\partial x}=y,\dfrac{\partial v}{\partial x}=1
\dfrac{\partial z}{\partial x}=\dfrac{y+1}{xy+x}
AI解读:交叉熵对数损失复合函数,分类任务反向传播核心梯度。

题8
三层嵌套复合:z=e^t,\ t=u+v,\ u=2x,\ v=xy,求\partial z/\partial x
解:
\dfrac{\partial z}{\partial t}=e^t,\ \dfrac{\partial t}{\partial u}=1,\dfrac{\partial t}{\partial v}=1
\dfrac{\partial u}{\partial x}=2,\dfrac{\partial v}{\partial x}=y
\dfrac{\partial z}{\partial x}=e^{2x+xy}(2+y)
AI解读:三层复合对应三层隐藏神经网络,梯度三层连乘,深层模型反向传播标准流程。

题9
z=u\cos v,\ u=x^2,\ v=3y,求两个偏导
解:
\dfrac{\partial z}{\partial u}=\cos v,\ \dfrac{\partial z}{\partial v}=-u\sin v
\dfrac{\partial u}{\partial x}=2x,\dfrac{\partial u}{\partial y}=0;\ \dfrac{\partial v}{\partial x}=0,\dfrac{\partial v}{\partial y}=3
\dfrac{\partial z}{\partial x}=2x\cos3y
\dfrac{\partial z}{\partial y}=-3x^2\sin3y
AI解读:时序特征加权+周期位置编码复合结构,大模型时序预测梯度模板。

题10 压轴综合多路径复合
z=u2+ev,\ u=x-y,\ v=xy,完整求\dfrac{\partial z}{\partial x},\dfrac{\partial z}{\partial y}
解:
\dfrac{\partial z}{\partial u}=2u,\ \dfrac{\partial z}{\partial v}=e^v
\dfrac{\partial u}{\partial x}=1,\dfrac{\partial u}{\partial y}=-1;\ \dfrac{\partial v}{\partial x}=y,\dfrac{\partial v}{\partial y}=x
\frac{\partial z}{\partial x}=2(x-y)\cdot 1 + e^{xy}\cdot y=2(x-y)+ye^{xy}
\frac{\partial z}{\partial y}=2(x-y)\cdot(-1)+e^{xy}\cdot x=-2(x-y)+xe^{xy}
AI解读:同时包含二次损失、指数激活、交叉特征项,完整复刻Transformer损失梯度计算逻辑,是工程最通用复合梯度模型。

三、课程核心总结(衔接35课二阶混合偏导)
4. 多元链式两大核心:多路径梯度相加、每层导数相乘;
5. 大模型反向传播本质:对海量权重求解多元复合偏导;
6. 路径越多、嵌套层数越深,梯度表达式越复杂,深层网络易出现梯度消失/爆炸;
7. 下一课程学习多元二阶、混合偏导,为海塞矩阵、多元极值判定打基础。

多元复合链式求导很容易漏算某一条梯度路径,你做题时怎么避免丢项?
深层大模型梯度消失和链式连乘有什么关系?欢迎评论区交流!

http://www.jsqmd.com/news/1398353/

相关文章:

  • mcgs批量初始化
  • 杭州婚嫁钻戒回收 闲置婚戒变现 奢二网不玩虚高报价套路 - 每日小知识
  • 新质生产力背景下液压产业变革、细分赛道机遇与长效发展策略
  • 2026年快递第三方比价平台哪个便宜?亲测避坑全攻略 - 快递物流资讯
  • 微信聊天记录导出与永久保存:留痕工具保姆级上手指南
  • 基于SpringBoot+Vue的超市进销存管理系统设计与实现开题报告
  • 把书房游戏搬到客厅要几步?Sunshine自托管游戏串流搭建实录
  • 告别深夜砸豆的手指酸痛:OnmyojiAutoScript 让阴阳师百鬼夜行全自动
  • Multi-Agent系统核心设计模式与工程实践:从协作原理到架构落地
  • 固本拓新,向智而行:中国液压行业发展全景解析
  • 通风管道定制施工哪家好?这份选购指南请收好 - 汇聚至此
  • 2026杭州千万级豪宅指南:一江两岸低密改善资产保值优选 - 匠言榜单
  • 手把手教你用Docker部署Navidash:打造私有化信息聚合门户
  • 被苹果抛弃的老款Mac还能再战几年?OpenCore-Legacy-Patcher让它跑起新版macOS
  • 让Xbox手柄在macOS上满血复活:360Controller驱动指南
  • 98.C语言易混难点:字符数组与字符串指针的底层差异
  • 核心语法篇,判断循环选择语句的学习
  • 终极AMD Ryzen调试指南:免费开源SMUDebugTool从零到进阶
  • Echarts折线图进阶配置:从基础到专业的视觉与交互优化指南
  • Python构建语言AI模型的核心技术与实践
  • CoreWeave崛起背后:AI原生基础设施如何重塑GPU云服务与Kubernetes实践
  • 深度解析 PVC材质通风管道:特性、定制工艺与应用 - 汇聚至此
  • 避坑!抖店新人专用铺货系统,适配1688代发,多店铺批量操作省时省力 - 抖大侠
  • 京东 算法实习一面 上
  • Grok Bot实战:构建AI智能体团队实现自动化协作与运维
  • 经典游戏兼容神器 DDrawCompat:一个 DLL 文件解决老游戏花屏与闪退难题
  • 3分钟告别百度网盘龟速:pdown下载器免登录粘贴链接即享高速
  • SetDPI快速上手指南:一招解决Windows多显示器DPI缩放不一致
  • IPXWrapper 零基础实战指南:一招让《红警2》《暗黑1》老游戏在现代 Windows 上恢复局域网联机
  • Pycharm解释器配置问题解决