MSE损失函数
是什么？
均方误差是最常用的回归损失函数，它是目标变量和预测值的差值平方和。该函数给出输入x和目标y中的每个元素之间的均方误差。它也被称为L2Loss。
数学表述
上为均方误差函数，其中目标真值为100，预测范围在-10000到10000之间，均方误差损失在预测值=100处有最小值，范围为0~∞。
主要问题：
导数变化，不稳定，尤其是在早期阶段，随着导数越来越小，训练速度变得越来越慢。
MSE梯度消失问题
二次函数L=22L=frac{^2}{2}L=22
采用链式法则求导，则有：
∂L∂w=σ′xfrac{partialL}{partialw}={sigma}"x∂w∂L=σ′x∂L∂b=σ′frac{partialL}{partialb}={sigma}"∂b∂L=σ′可以看出梯度都与sigmoid函数的梯度有关，如下所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。
用途
IfweuseMSE,itresultsinanaverageofally,whichinCVitmeanswewillhaveablurryimage.IfweuseL1loss,thevalueythatminimizetheL1distanceisthemedium,whichisnotblurry,butnotethatmediumisdifficulttodefineinmultipledimensions.
文章为作者独立观点，不代表 股票程序化软件自动交易接口观点
股民评论