torch.nn神经网络（3）--损失函数与反向传播 + 优化器

7.损失函数Loss

损失Loss，通常是指神经网络的输出预测值与真实值之间的差距，作用在于： ①计算实际输出和目标之间的差距 ②为我们更新输出提供一定的依据（反向传播）

举例说明：具体各函数的定义在pytorch官方文档 我们定义两个变量inputs与targets来代表输出和目标值，分别使用L1Loss函数，MSELoss函数来进行loss值的计算：

import torch
from torch.nn import L1Loss
from  torch import nn
inputs= torch.tensor([1,2,3],dtype=torch.float32)
targets = torch.tensor([1,2,5],dtype=torch.float32)

inputs = torch.reshape(inputs,(1,1,1,3))
targets = torch.reshape(targets,(1,1,1,3))

loss =L1Loss(reduction=sum)          #使用reduction调整计算方式 loss函数
result = loss(inputs,targets)

loss_mse =nn.MSELoss()
result_mse = loss_mse(inputs,targets)
print(result)
print(result_mse)

输出结果：

tensor(2.)
tensor(1.3333)

交叉熵函数的使用：

x=torch.tensor([0.1,0.2,0.3])
y=torch.tensor([1])
x=torch.reshape(x,(1,3))
loss_cross = nn.CrossEntropyLoss()
result_cross = loss_cross(x,y)
print(result_cross)

输出：

tensor(1.1019)

8.反向传播

反向传播作用： 计算总误差，也就是快速算出所有参数的偏导数，以此来更新新的权重。

本次例子使用之前设计的网络： 导入相应模块，数据集，神经网络定义

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10(./dataset,train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset,batch_size=1)

class ChenYu(nn.Module):
    def __init__(self):
        super(ChenYu, self).__init__()
        self.model1 =Sequential(
        Conv2d(3,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,64,5,padding=2),
        MaxPool2d(2),
        Flatten(),
        Linear(1024,64),
        Linear(64,10)
        )

    def forward(self,x):
        x=self.model1(x)
        return x

使用交叉熵进行loss的计算，使用backward()函数进行反向传播：

loss= nn.CrossEntropyLoss()      
chenyu=ChenYu()
for data in dataloader:
    imgs, targets = data
    outputs= chenyu(imgs)
    result_loss = loss(outputs,targets)      #交叉熵使用
    result_loss.backward()         #反向传播更新数据
    print(result_loss)

9.优化器

优化器作用：用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数E 最常用的方法是梯度下降方法。

本次使用优化器文SGD优化器，我们需要设置其输入的参数及学习率lr.

同样借用上述的神经网络，在此不做赘述，直接进行分析： ①将样本输入至神经网络中得到输出 ②使用loss函数计算出输出和实际值的误差 ③使用optim.zero_grad()将之前的梯度清0 ④使用.backward()函数进行反向传播 ⑤optim.step()对每个参数进行调优

loss= nn.CrossEntropyLoss()
chenyu=ChenYu()
optim = torch.optim.SGD(chenyu.parameters(),lr=0.01)
for epoch in range(20):
    running_Loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs= chenyu(imgs)
        result_loss = loss(outputs,targets)
        optim.zero_grad()         #将需要调节的参数 设置为0
        result_loss.backward()         #反向传播
        optim.step()
        running_Loss = running_Loss+result_loss
    print(running_Loss)

最终结果：我们可以看到 随着网络的不断迭代，loss值是在不断的进行下降的：

tensor(18689.9395, grad_fn=<AddBackward0>)
tensor(16173.0996, grad_fn=<AddBackward0>)
tensor(15504.9697, grad_fn=<AddBackward0>)