在上面博客中我们讨论了正则化的线性回归模型,下面我们来讨论一下正则化的逻辑回归模型。
前面我们讲述了两种常用于逻辑回归的方法:

  1. 基于梯度下降法的逻辑回归模型
  2. 基于高级优化的逻辑回归模型

基于梯度下降法的逻辑回归模型:
首先我们还是需要先设计加入正则化后的损失函数,与线性回归模型相似,我们只需要在原来逻辑回归损失函数的基础上加入正则化即可,于是,加入正则化后的损失函数为:
这里写图片描述
与线性回归模型相同,我们不对参数θ0进行惩罚。对上述损失函数求取的过程同样与线性回归模型一样,可以分为两步,求取梯度下降的过程如下所所示:
这里写图片描述
值得注意的是:上面的式子看上去与线性回归的式子相同,但是由于假设的不同,所以与线性回归在本质上是不同的。同时不对参数θ0进行惩罚。

基于高级优化的正则化逻辑回归模型:
与原来讲述的额高级优化相同,在matlab中可以通过fminuc函数来实现最小化,值得注意的是参数θ0的更新规则与其他情况不同,同时在高级优化中损失函数需要我们自己定义。下面就是高级优化计算损失函数的过程:
这里写图片描述
计算之后的损失函数,就可以使用fminuc函数进行最小化,具体的细节可以参考这里