深度学习基础--模型构造

深度学习基础–模型构造

最近在阅读一本书籍–Dive-into-DL-Pytorch（动手学深度学习），链接：，自身觉得受益匪浅，在此记录下自己的学习历程。

本篇主要记录模型构造的几种方法：

我们以MLP多层感知机（含单隐藏层与两个全连接层）为例，构造模型。 首先导入需要的包

import torch
from torch import nn

Module类（基类）

class MLP(nn.Module):
    # 创建模型参数
    def __init__(self, **kwargs):
        super(MLP, self).__init__(**kwargs)
        self.hidden = nn.Linear(784, 256) # 隐藏层
        self.act = nn.ReLU()
        self.output = nn.Linear(256, 10) # 输出层
 
    # 定义模型的前向计算（正向传播）
    def forward(self, x):
        a = self.act(self.hidden(x))
        b = self.output(a)
        return b

#实例化MLP类得到模型变量net
net = MLP()
print(net)

输出结果
MLP(
  (hidden): Linear(in_features=784, out_features=256, bias=True)
  (act): ReLU()
  (output): Linear(in_features=256, out_features=10, bias=True)
)

Sequential类

net = nn.Sequential(
    nn.Linear(784, 256),
    nn.ReLU(),
    nn.Linear(256, 10),
)

print(net)

输出结果
Sequential(
  (0): Linear(in_features=784, out_features=256, bias=True)
  (1): ReLU()
  (2): Linear(in_features=256, out_features=10, bias=True)
)

ModuleList类

net = nn.ModuleList([
    nn.Linear(784, 256), 
    nn.ReLU()
])
net.append(nn.Linear(256, 10)) # # 类似List的append操作

print(net)

输出结果
ModuleList(
  (0): Linear(in_features=784, out_features=256, bias=True)
  (1): ReLU()
  (2): Linear(in_features=256, out_features=10, bias=True)
)

ModuleDict类

net = nn.ModuleDict({
          
   
 linear: nn.Linear(784, 256),
 act: nn.ReLU(),
})
net[output] = nn.Linear(256, 10) # 添加

print(net)

输出结果
ModuleDict(
  (act): ReLU()
  (linear): Linear(in_features=784, out_features=256, bias=True)
  (output): Linear(in_features=256, out_features=10, bias=True)
)

优点总结：上面介绍的Sequential类、ModuleList类、ModuleDict类的好处是可以使模型构造更加简单，且不需要定义 forward 函数。而直接继承 Module类的好处是可以极大地拓展模型构造的灵活性。