损失函数
损失函数的基本形式为
第一项为误差 ,我们把它叫做,第二项为模型复杂度。
为了防止模型过拟化,我们才加入模型的复杂度,在保证精确度与防止模型的过拟化,我们将两项加起来,r(d) 过大,再小也没用;相反r(d)再小,大也失去了问题的意义。
书本中,或者很多机器学习的资料中,为了让全球的机器学习人员有个通用的术语,同时让大家便于死记硬本,给我上一段黑体字的部分的内容加上了一坨定义,例如:我们管叫做经验风险,管上面我们思维导图的过程叫做正则化,所以顺其自然的管r(d)叫做正则化项,然后管 叫做结构风险,所以顺其自然的正则化就是我们将结构风险最小化的过程,它们是等价的。