内核岭回归

内核岭回归(KRR)由使用内核方法的岭回归所组成。不同的内核会导致不同的空间线性函数。对于非线性的内核,它与原始空间中的非线性函数相对应。内核岭回归与支持向量回归(SVR)的模型形式是一样的。但是它们有三个不同点:

1、它们使用不同的损失函数:KRR使用平方误差损失函数;SVR使用\varepsilon -不敏感损失(忽略真实值在某个上下范围内的误差),但两者用的都是l_2正则化。

2、KRR对于中型数据集拟合更快(中型数据量大概一两万左右)。

3、KRR学习的模型是非稀疏的,而SVR拟合的是\varepsilon >0的稀疏模型,因此SVR预测更快。

以下是KRR与SVR的性能对比:


KRR VS SVR

一、KRR示例

博主将岭回归、贝叶斯岭回归、内核岭回归、支持向量回归放在了一起进行训练比较,结果如下:


岭回归VS贝叶斯岭回归VS KRR VS SVR

可以看出来,在没有调参的情况下,岭回归的效果要好于内核岭回归(调参后就说不准了),但是内核岭回归是快于岭回归的。支持向量回归速度最慢,贝叶斯岭回归速度最快,差别较大。


参考《Scikit-learn官方API》

如有错误,请指正;如有疑问,请留言。

你或许想:《去原作者写文章的地方

火星援救下载
「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
Python
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论