PyTorch 机器学习基础（选择合适激活函数）

选择合适激活函数

激活函数在神经网络中作用有很多，主要作用是给神经网络提供非线性建模能力。如
果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有
sigmoid、tanh、relu、softmax等。它们的图形、表达式、导数等信息如表5-2所示。

在搭建神经网络时，如何选择激活函数？如果搭建的神经网络层数不多，选择
sigmoid、tanh、relu、softmax都可以；而如果搭建的网络层次较多，那就需要小心，选择
不当就可导致梯度消失问题。此时一般不宜选择sigmoid、tanh激活函数，因它们的导数都
小于1，尤其是sigmoid的导数在[0,1/4]之间，多层叠加后，根据微积分链式法则，随着层
数增多，导数或偏导将指数级变小。所以层数较多的激活函数需要考虑其导数不宜小于1
当然也不能大于1，大于1将导致梯度爆炸，导数为1最好，而激活函数relu正好满足这个
条件。所以，搭建比较深的神经网络时，一般使用relu激活函数，当然一般神经网络也可
使用。此外，激活函数softmax由于${\sum }_l{\sigma }_l(z)=1$
，常用于多分类神经网络输出层。

激活函数在PyTorch中使用示例：

m = nn.Sigmoid()
input = torch.randn(2)
output = m(input)

激活函数输入维度与输出维度是一样的。激活函数的输入维度一般包括批量数N，即
输入数据的维度一般是4维，如（N,C,W,H）。

选择合适的损失函数

损失函数（Loss Function）在机器学习中非常重要，因为训练模型的过程实际就是优
化损失函数的过程。损失函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟
合时添加的正则化项也是加在损失函数后面。损失函数用来衡量模型的好坏，损失函数越
小说明模型和参数越符合训练样本。任何能够衡量模型预测值与真实值之间的差异的函数
都可以叫作损失函数。在机器学习中常用的损失函数有两种，即交叉熵(Cross Entropy)和
均方误差（Mean squared error，MSE），分别对应机器学习中的分类问题和回归问题。

对分类问题的损失函数一般采用交叉熵，交叉熵反应的两个概率分布的距离（不是欧
氏距离）。分类问题进一步又可分为多目标分类，如一次要判断100张图是否包含10种动
物，或单目标分类。

回归问题预测的不是类别，而是一个任意实数。在神经网络中一般只有一个输出节
点，该输出值就是预测值。反应的预测值与实际值之间的距离可以用欧氏距离来表示，所
以对这类问题通常使用均方差作为损失函数，均方差的定义如下：

$$\text{MSE}=\frac{{\sum }_{i=1}^n{\left(y_i-y_i^{\prime }\right)}^2}{n}$$
PyTorch中已集成多种损失函数，这里介绍两个经典的损失函数，其他损失函数基本
上是在它们的基础上的变种或延伸。

1.torch.nn.MSELoss

具体格式：

torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')

计算公式：

ℓ(x,y)=L={l1,l2,…,lN}T,ln=(xn,yn)n \ell(x, y) = L = \left\{ l_1, l_2, \ldots, l_N \right\}^{\mathrm{T}}, \quad l_n = (x_n, y_n)^n ℓ(x,y)=L={l1​,l2​,…,lN​}T,ln​=(xn​,yn​)n
如果参数reduction为非None（缺省值为’mean’），则：

$$\ell (x,y)=\{\begin{array}{ll}\text{mean}(L),& \text{if }\text{reduction}=\text{’mean’}\\ \text{sum}(L),& \text{if }\text{reduction}=\text{’sum’}\end{array}$$

x和y是任意形状的张量，每个张量都有n个元素，如果reduction取’none’，$\ell (x,y)$ 将不是
标量；如果取’sum’，则$\ell (x,y)$只是差平方的和，但不会除以n。

参数说明：

size_average、reduce在以后版本将移除，主要看参数reduction，reduction可以取
none、mean、sum，缺省值为mean。如果size_average、reduce取值，将覆盖reduction的取
值。

代码示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(10)

loss=nn.MSELoss(reduction='mean')
input=torch.randn(1,2,requires_grad=True)
print(input)
target=torch.randn(1,2)
print(target)
output=loss(input,target)
print(output)
output.backward()

输出结果

tensor([[-0.6014, -1.0122]], requires_grad=True)
tensor([[-0.3023, -1.2277]])
tensor(0.0680, grad_fn=<MseLossBackward0>)

2.torch.nn.CrossEntropyLoss

交叉熵损失（Cross-Entropy Loss）又称对数似然损失（Log-likelihood Loss）、对数
损失；二分类时还可称之为逻辑回归损失（Logistic Loss）。在PyTroch里，它不是严格意
义上的交叉熵损失函数，而是先将Input经过softmax激活函数，将向量“归一化”成概率形
式，然后再与target计算严格意义上的交叉熵损失。在多分类任务中，经常采用softmax激
活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的
是向量，并不是概率分布的形式。所以需要softmax激活函数将一个向量进行“归一化”成
概率分布的形式，再采用交叉熵损失函数计算loss。

一般格式：

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean

计算公式：

$$\text{loss}(x,\text{class})=-\log \left(\frac{\exp (x[\text{class}])}{{\sum }_j\exp (x[j])}\right)=-x[\text{class}]+\log \left(\sum _j\exp (x[j])\right)$$

符号解释：

• $\text{loss}(x,\text{class})$：针对样本 $x$ 和类别 $\text{class}$ 的损失函数。
• $\log (\cdot )$：自然对数（也可写为 $\ln (\cdot )$，但深度学习中常省略底数默认自然对数）。
• $\exp (\cdot )$：指数函数（即 $e^{\cdot }$）。
• ${\sum }_j$：对所有类别 $j$ 求和（$j$ 为遍历所有类别的索引）。
• $x[\text{class}]$：样本 $x$ 在“$\text{class}$”类别上的输出（如神经网络最后一层的logit值）。

如果带上权重参数weight，则：

$$\text{loss}(x,\text{class})=\text{weight}[\text{class}]\left(-x[\text{class}]+\log \left(\sum _j\exp (x[j])\right)\right)$$

代码示例

import torch
import torch.nn as nn

torch.manual_seed(10)

loss=nn.CrossEntropyLoss()
#假设类别数为5
input=torch.randn(3,5,requires_grad=True)
#每个样本对应的类别索引,其值范围为[0,4]
target=torch.empty(3,dtype=torch.long).random_(5)
output=loss(input,target)
output.backward()