错那县周边事
您现在所在的位置是: 主页 > 体育新闻 >

Day94 欠拟合Underfitting与过拟合Overfitting_科技频

发布日期:2020-06-18 03:03   来源:未知   阅读:

偏差与方差

计算对象

偏差和方差的计算是不同模型对同一个样本的预测结果的偏差和方差。而不是同一个模型对不同样本的预测结果的偏差和方差

计算位置

偏差-方差的计算是在测试集中进行的。在训练过程中使用的是损失函数,通过损失函数不断地优化,达到终止条件后,训练出来一个模型。然后在这个训练得到的模型的基础上,在测试的时候,才知道自己的模型是否泛化能力比较好(即过拟合,欠拟合,符合条件)

方差:描述的是样本上训练出来的模型在测试集上的表现

偏差:描述的根据样本在训练集上训练出来的模型,根据模型拟合出的输出预测结果的期望与样本真实结果的差距

计算过程

①样本的真实标记 ,②样本在训练集中的标记(可能含噪声),③样本在训练时每次得到的输出标记

噪声(noise):样本在训练集的标记②与样本的真实标记①的误差平方的均值,即②-①的平方的均值。

偏置(bias):训练模型时,每一次训练得到的训练集预测标签与原始真实标签的偏离程度(即③与①的差)。如果此偏离程度过小,则会导致过拟合的发生,因为可能将训练集中的噪声也学习了。在训练的时候,bias理论上应该是逐渐变小的,表明我们的模型正在不断学习有用的东西。【当然这是针对只有一个训练集的情况下,如果有多个训练集,就计算出样本在各个训练集下的预测值的均值,然后计算此均值与真实值的误差即为偏差】

方差(variance):训练模型时,每一次得到的训练集预测标签,但是此时是最终一次训练以后得到的所有标签之间的方差且与真实标签无关(即③本身的方差),即计算这些预测标签的均值,再计算(每一个标签-均值)的平方和。可以想象,刚开始方差肯定是很小的,因为刚开始学习,啥都不会,即使对于有或者无噪声的数据,我们都无法做出精准判断,然而随着学习的进行,有些我们会越学越好,但是会越来越多地受到噪声数据的干扰,方差也会越来越大。