深入理解张量 第3章 张量计算框架与自动微分 (Tensor Computing Frameworks Autodiff)
目录
第3章 张量计算框架与自动微分 (Tensor Computing Frameworks & Autodiff)
3.1 PyTorch张量系统深度解析
3.1.1 torch.Tensor的数据结构与内存管理
3.1.1.1 Storage与View机制：共享内存的零拷贝操作
3.1.1.2 设备放置（CPU/CUDA）与内存池优化
3.1.2 动态计算图与Eager Execution
3.1.2.1 即时执行模式与调试优势
3.1.2.2 torch.jit.trace与图编译优化
3.1.3 高级索引与向量化操作
3.1.3.1 高级索引（Advanced Indexing）与掩码操作
3.1.3.2 einsum：爱因斯坦求和约定的优雅实现
3.2 TensorFlow张量生态系统
3.2.1 tf.Tensor与静态图机制
3.2.1.1 Graph Execution与Session机制（1.x legacy）
3.2.1.2 tf.function与AutoGraph的JIT编译
3.2.2 TensorFlow 2.x的Eager与Graph混合模式
3.2.2.1 @tf.function装饰器的图捕获机制
3.2.2.2 tf.GradientTape与自定义梯度
3.2.3 XLA编译器与TPU张量优化
3.2.3.1 XLA（Accelerated Linear Algebra）的算子融合
3.2.3.2 bfloat16与混合精度张量运算
3.3 自动微分（Autograd）的数学原理
3.3.1 反向传播作为张量链式法则
3.3.1.1 Jacobian矩阵与向量-Jacobian乘积（VJP）
3.3.1.2 高阶梯度与Hessian矩阵计算
3.3.2 计算图优化与内存管理
3.3.2.1 检查点技术（Checkpointing）与梯度重计算
3.3.2.2 分布式训练中的张量梯度聚合
3.3.3 自定义张量运算的自动微分扩展
3.3.3.1 PyTorch的torch.autograd.Function
3.3.3.2 TensorFlow的tf.custom_gradient