AI回归模型评估指标:MSE、RMSE、MAE、R2
怎么评估AI回归模型的预测结果,计算回归模型预测值与真实值之间的差距?这篇文章里,作者介绍了常见指标的含义与计算方式,一起来看看吧。
上文介绍了如何利用混淆矩阵、KS和AUC等指标来评估分类模型的性能,今天我们来看一下如何评估回归模型的预测结果。
不管是分类模型还是回归模型的评估,其本质都是为了计算真实值和预测值之间的“差异”。
分类模型的“差异”体现在分类结果是否正确,而回归模型的“差异”则体现在预测值与真实值有多大的差距。
那么如何计算回归模型预测值与真实值的差距呢?常见的指标有MSE、RMSE、MAE、R²,我们来看看它们的计算方法。
一、MSE、RMSE、MAE的含义和计算
我们以一个预测气温的回归模型为例,模型计算出未来15天的气温(预测值),15天过后我们可以得到每天的实际气温(实际值),我们以此数据为基础,来计算该模型预测值与实际值的差异。
最直接的计算方式,就是计算每天气温的差值,并把差值相加即可。
但是有可能存在负数的差值,为避免正负数的差值互相抵消的情况,我们可以把每天的差值求平方之后,再相加,就可以得到一个表现差异的总数值。
因为天数是不固定的,天数越多,总差异值肯定就越大,所以我们需要再除以天数(15天),以得到一个更加通用的评估指标——MSE。
MSE(Mean Squared Error):均方误差,就是求出每天真实值和预测值的差值平方,求和后再除以天数。
我们看到,MSE有一个求平方的过程,但是平方会导致误差放大,并且使差值的量纲发生变化,为了统一量纲,我们再对MSE值求一个平方根,就是RMSE。
RMSE(Root Mean Squared Error):均方根误差,是对MSE值求平方根之后的结果。
避免正负数的差值互相抵消的方式,除了平方之外,还可以求绝对值,我们将每天的差值求绝对值,再相加除以天数,就是MAE指标了。
MAE(Mean Absolute Error):平均绝对误差,就是求出每天真实值和预测值差值的绝对值,求和后再除以天数。
整体来说,MSE会放大差异,更容易被发现,适合在开发过程中使用。MAE采用的是更简洁的计算,最接近真实的误差值,常用来作为实际评估指标。而RMSE经过了平方再开方,其数值会比MAE略大一点。
二、R²的含义和计算
我们已经可以利用MSE等指标计算模型预测值和实际值的差异了,看起来好像已经够用了,但是我们得到的是个数值,这个数可能是50、100,也可能是一万、八千,那么到底什么样的数值才是合理的呢?
只看MSE等求和类的指标的话,就显得不够直观了,我们需要想办法得到一个“系数”,来直观的表达模型预测结果的好坏,这个系数就是R²。
R²(R Squared 决定系数)= (TSS – RSS)/TSS,其中TSS为总离差平方和(实际值和实际值均值之间的差值平方和),RSS为残差平方和(实际值和预测值之间的差值平方和)。
R2的值一般都在0-1的范围内,越接近1,说明模型预测效果越好。
当然如果预测值非常离谱,导致RSS过大,超过TSS值的话,R2也可能是负值,说明模型预测效果非常差。
总结
本文我们介绍了回归模型的评估指标,学习完这两篇文章之后,我们就掌握了评估模型性能的基本方法。
下篇文章,我会再详细介绍如何评估模型的稳定性,敬请期待。
本文由 @AI小当家 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自 Unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
R²(R Squared 决定系数)= (TSS – RSS)/TSS,其中TSS为总离差平方和(实际值和实际值均值之间的差值平方和),RSS为残差平方和(实际值和预测值之间的差值平方和)
请问这TSS中的实际值是指的某一天的实际值么?
对,准确的说应该是“每一天的实际值”和“所有天的实际值均值”之间的差值平方和
收到,感谢