神经网络中的 block 和 module

写论文时候，需要设计一些网络模块，有时叫 module ，有时叫 block，因此好奇到底哪个更大。

今天查了查，发现以 pytorch 为例，Block（块）通常比 Module（模块）的粒度更大。 “Module 是基础单元，Block 是由多个 Module 组成的功能单元”。

例如：

• ResNet 的残差块（ResBlock）= Conv2d（Module） + BatchNorm2d（Module） + ReLU（Module） + Conv2d（Module） + 捷径连接（可选Conv2d）
• Transformer 的 FeedForward Block = nn.Linear（Module） + nn.ReLU（Module） + nn.Dropout（Module） + nn.Linear（Module）。

所以，简单记：Module 是 “零件”，Block 是 “部件” —— 部件由零件组成，因此 Block 更大。