神经网络 —— 搭建神经网络（实例）

一、搭建神经网络

本案例

搭建神经网络，这里是一个简单的全连接神经网络

这里的全连接神经网络组成：

隐藏层1：nn.Linear(3,3),权重初始化采用标准化的xavier初始化 激活函数使用sigmoid

隐藏层2：nn.Linear(3,2),权重初始化采用标准化的He初始化 激活函数采用relu

输出层: nn.Linear(2,2),采用softmax做数据归一化，权重初始化采用标准化的xavier初始化

二、实现

自定义模型类，搭建自己的神经网络

1.继承 nn.Module 基础模型

class MyModel(nn.Module)

2.定义__init__方法，定义网络层

def __init__(self): super().__init__() # 1.定义网络层 self.linear1 = nn.Linear(3,3) self.linear2 = nn.Linear(3,2) self.linear3 = nn.Linear(2,2) # 2.参数初始化，一般不需要人为初始化，采用默认初始化即可 # 权重W 和 偏置b nn.init.xavier_normal_(self.linear1.weight) nn.init.zeros_(self.linear1.bias) nn.init.kaiming_normal_(self.linear2.weight) nn.init.zeros_(self.linear2.bias) nn.init.xavier_normal_(self.linear3.weight) nn.init.zeros_(self.linear3.bias)

3.重新forward方法，实现前向传播 (基类 方法)

def forward(self,x): # 1.把数据输入隐藏层1 经过sigmoid x = torch.sigmoid(self.linear1(x)) # 2.把数据输入隐藏层2 x = torch.relu(self.linear2(x)) # 3.把数据输入输出层 x = torch.softmax(self.linear3(x),dim=-1) # 4.返回结果 return x

主函数入口

# 测试 if __name__ == '__main__': # 1.创建模型对象 model = MyModel() print(model) model = model.to(device) # 2.查看模型的参数数量 summary(model, (3,)) ...