神经网络 —— 搭建神经网络（实例）

一、搭建神经网络本案例搭建神经网络这里是一个简单的全连接神经网络这里的全连接神经网络组成隐藏层1nn.Linear(3,3),权重初始化采用标准化的xavier初始化 激活函数使用sigmoid隐藏层2nn.Linear(3,2),权重初始化采用标准化的He初始化 激活函数采用relu输出层: nn.Linear(2,2),采用softmax做数据归一化权重初始化采用标准化的xavier初始化二、实现自定义模型类搭建自己的神经网络1.继承 nn.Module 基础模型class MyModel(nn.Module)2.定义__init__方法定义网络层def __init__(self): super().__init__() # 1.定义网络层 self.linear1 nn.Linear(3,3) self.linear2 nn.Linear(3,2) self.linear3 nn.Linear(2,2) # 2.参数初始化一般不需要人为初始化采用默认初始化即可 # 权重W 和 偏置b nn.init.xavier_normal_(self.linear1.weight) nn.init.zeros_(self.linear1.bias) nn.init.kaiming_normal_(self.linear2.weight) nn.init.zeros_(self.linear2.bias) nn.init.xavier_normal_(self.linear3.weight) nn.init.zeros_(self.linear3.bias)3.重新forward方法实现前向传播 (基类 方法)def forward(self,x): # 1.把数据输入隐藏层1 经过sigmoid x torch.sigmoid(self.linear1(x)) # 2.把数据输入隐藏层2 x torch.relu(self.linear2(x)) # 3.把数据输入输出层 x torch.softmax(self.linear3(x),dim-1) # 4.返回结果 return x主函数入口# 测试 if __name__ __main__: # 1.创建模型对象 model MyModel() print(model) model model.to(device) # 2.查看模型的参数数量 summary(model, (3,)) ...