视频录制于2017年

一、拟合的三种状态

拟合的三种状态

三种不同程度的拟合图

 

欠拟合:拟合的程度还不够,不能达到很好的输出效果,没有很好的实现预期的结果。

过拟合:百分之百通过了所有的数据,但是这条曲线比较歪歪扭扭,为了根据训练数据得到比较好的曲线,但是形状可能会比较奇怪,当我们把新的数据带进来之后效果并不会很好。过拟合就是拟合出了一条非常奇怪,非常复杂的一条曲线,虽然说对样本完成了百分百的拟合,但是并不一定新的数据进来做到比较好的输出。这样的拟合虽然把训练数据分的特别好,但是不一定反映了真实的情况。再来新的样本点的时候不能很好的输出。看起来比较好,用起来比较差。

过拟合时测试的误差比训练的误差大的比较多。

正确拟合:拟合出比较合适的曲线,可以很好的拟合出曲线的形状,曲线的形状不很复杂,再来新的数据之后输出的结果也会比较好。最好的拟合。

二、防止过拟合措施

1.增加数据集

(数据挖掘中有句话:拥有一个好的数据集胜过一个好的模型)

数据集太少,神经网络过于复杂就很容易出现过拟合的情况。 

2.正则化方法

正则化示意图

正则化的意思就是在代价函数后面再添加一个项,这个项有所有权重的平方和,这样在权重越来越小的情况下,使得代价函数下降的比较快,从而达到减小网络的复杂度的目的。

3.Dropout

Dropout的方法防止过拟合图

通过改变神经网络本身来实现的防止过拟合,输入层和输出层不变,在每次迭代的时候只让一部分的隐藏层工作,不参与训练的隐藏层的权值不会发生改变。每次迭代都随机的去掉不同的隐藏层。

4.谷歌的拟合工具网址

http://playground.tensorflow.org/

 

总结:

1.拟合的网络相对于要解决的问题不能过于简单(前拟合),也不能过于复杂(过拟合)。根据实际的问题,设置与问题相匹配的复杂程度的网络。

比较简单的模型不要构建太复杂的网络,复杂的模型则需要复杂的网络去拟合。网络的构建需要根据数据的情况,数据复杂网络较复杂,数据简单网络较简单。

在上面博客中我们讨论了正则化的线性回归模型,下面我们来讨论一下正则化的逻辑回归模型。
前面我们讲述了两种常用于逻辑回归的方法:

  1. 基于梯度下降法的逻辑回归模型
  2. 基于高级优化的逻辑回归模型

基于梯度下降法的逻辑回归模型:
首先我们还是需要先设计加入正则化后的损失函数,与线性回归模型相似,我们只需要在原来逻辑回归损失函数的基础上加入正则化即可,于是,加入正则化后的损失函数为:
这里写图片描述
与线性回归模型相同,我们不对参数θ0进行惩罚。对上述损失函数求取的过程同样与线性回归模型一样,可以分为两步,求取梯度下降的过程如下所所示:
这里写图片描述
值得注意的是:上面的式子看上去与线性回归的式子相同,但是由于假设的不同,所以与线性回归在本质上是不同的。同时不对参数θ0进行惩罚。

基于高级优化的正则化逻辑回归模型:
与原来讲述的额高级优化相同,在matlab中可以通过fminuc函数来实现最小化,值得注意的是参数θ0的更新规则与其他情况不同,同时在高级优化中损失函数需要我们自己定义。下面就是高级优化计算损失函数的过程:
这里写图片描述
计算之后的损失函数,就可以使用fminuc函数进行最小化,具体的细节可以参考这里

论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,从实验结果来看,DRConv符合设计的预期,在多个任务上都有不错的性能提升

来源:晓飞的算法工程笔记 公众号

论文: Dynamic Region-Aware Convolution

Introduction


  目前主流的卷积操作都在空间域进行权值共享,而如果想得到更丰富的信息,只能通过增加卷积的数量来实现,这样不仅计算低效,也会带来网络优化困难。与主流卷积不同,local conv在不同的像素位置使用不同的权值,这样能够高效地提取丰富的信息,主要应用在人脸识别领域,但local conv不仅会带来与特征图大小相关的参数量,还会破坏平移不变性。

  考虑到以上两种卷积的优劣,论文提出了DRConv(Dynamic Region-Aware Convolution),DRConv的结构如图1,首先通过标准卷积来生成guided feature,根据guided feature将空间维度分成多个区域,卷积核生成模块G(⋅)G(cdot)根据输入图片动态生成每个区域对应的卷积核。DRConv能够可学习地为不同的像素位置匹配不同的卷积核,不仅具有强大的特征表达能力,还可以保持平移不变性。由于卷积核是动态生成的,能比local conv减少大量的参数,而整体计算量几乎和标准卷积一致。
  论文的主要贡献如下:

  • 提出DRConv,不仅具有强大的语义表达能力,还能很好地维持平移不变性。
  • 巧妙的设计了可学习guided mask的反向传播,明确区域共享的规则(region-sharing-pattern),并根据损失函数回传的梯度进行更新。
  • 只需简单地替换,DRConv就能在图片分类,人脸识别,目标检测和语义分割等多个任务上达到很好的性能。

Our Apporach


Dynamic Region-Aware Convolution

  对于标准卷积,定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

  对于基础的local conv,定义非共享权重W∈RU×V×CWin mathbb{R}^{Utimes Vtimes C}

  结合以上公式,定义guided maskM=S0,⋯ ,Sm−1M={S_0, cdots,S_{m-1}}

  • 使用可学习的guided mask来将空间维度划分为多个区域,如图1所示,guided mask中相同颜色的像素归为同一区域,从语义的角度来看,即将语义相似的特征归为统一区域。
  • 对于每个共享区域,使用卷积核生成模块来生成定制的卷积核来进行常规的2D卷积操作,定制的卷积核能够根据输入图片的重要特征自动地进行调节。

Learnable guided mask

  作为DRConv的重要部分,guided mask决定了卷积核在空间维度上的分布,该模块由损失函数指导优化,从而能够适应输入的空间信息变化,从而改变卷积核的分布。

  对于包含mm个channel的k×kktimes k

  为了让guided mask可学习,必须得到用来生成guided feature的权值的梯度,但由于argmax(⋅)argmax(cdot)的使用导致guided feature的梯度无法计算,所以论文设计了类似的梯度。

  根据公式4获得guided mask,根据公式5得到每个位置(u,v)(u,v)得到卷积核W~u,vtilde{W}_{u,v}

  为了使梯度得到回传,首先用F^hat{F}

F^u,vjhat{F}_{u,v}^j

  公式8为公式6的反向传播,⊙odot为逐元素相乘,如果不设计特殊的反向传播,SGD将不能对相关的参数进行优化,因为函数argmax(⋅)argmax(cdot)是不可导的。因此,softmax(⋅)softmax(cdot)是用来接近argmax(⋅)argmax(cdot),通过替换函数将梯度回传到guided feature,是的guided mask可学习。

Dynamic Filter: Filter generator module

  在DRConv中,使用卷积核生成模块来生成不同区域的卷积核,由于不同图片的特征不同,在图片间共享的卷积核不能高效地提取其独有的特征,需要定制化的特征来专注不同图片的特性。

  定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

Experiments


Classification

Face Recognition

COCO Object Detection and Segmentation

Ablation Study


Visualization of dynamic guided mask

Different model size

Different region number

Different spatial size

CONCLUSION


  论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,首先使用guided mask对特征图中的像素划分到不同的区域,其次使用卷积核生成模块动态生成区域对应的卷积核。从实验结果来看,DRConv符合设计的预期,特别是图3的guided mask的可视化结果,在多个任务上都有不错的性能提升。



如果本文对你有帮助,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

work-life balance.

论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,从实验结果来看,DRConv符合设计的预期,在多个任务上都有不错的性能提升

来源:晓飞的算法工程笔记 公众号

论文: Dynamic Region-Aware Convolution

Introduction


  目前主流的卷积操作都在空间域进行权值共享,而如果想得到更丰富的信息,只能通过增加卷积的数量来实现,这样不仅计算低效,也会带来网络优化困难。与主流卷积不同,local conv在不同的像素位置使用不同的权值,这样能够高效地提取丰富的信息,主要应用在人脸识别领域,但local conv不仅会带来与特征图大小相关的参数量,还会破坏平移不变性。

  考虑到以上两种卷积的优劣,论文提出了DRConv(Dynamic Region-Aware Convolution),DRConv的结构如图1,首先通过标准卷积来生成guided feature,根据guided feature将空间维度分成多个区域,卷积核生成模块G(⋅)G(cdot)根据输入图片动态生成每个区域对应的卷积核。DRConv能够可学习地为不同的像素位置匹配不同的卷积核,不仅具有强大的特征表达能力,还可以保持平移不变性。由于卷积核是动态生成的,能比local conv减少大量的参数,而整体计算量几乎和标准卷积一致。
  论文的主要贡献如下:

  • 提出DRConv,不仅具有强大的语义表达能力,还能很好地维持平移不变性。
  • 巧妙的设计了可学习guided mask的反向传播,明确区域共享的规则(region-sharing-pattern),并根据损失函数回传的梯度进行更新。
  • 只需简单地替换,DRConv就能在图片分类,人脸识别,目标检测和语义分割等多个任务上达到很好的性能。

Our Apporach


Dynamic Region-Aware Convolution

  对于标准卷积,定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

  对于基础的local conv,定义非共享权重W∈RU×V×CWin mathbb{R}^{Utimes Vtimes C}

  结合以上公式,定义guided maskM=S0,⋯ ,Sm−1M={S_0, cdots,S_{m-1}}

  • 使用可学习的guided mask来将空间维度划分为多个区域,如图1所示,guided mask中相同颜色的像素归为同一区域,从语义的角度来看,即将语义相似的特征归为统一区域。
  • 对于每个共享区域,使用卷积核生成模块来生成定制的卷积核来进行常规的2D卷积操作,定制的卷积核能够根据输入图片的重要特征自动地进行调节。

Learnable guided mask

  作为DRConv的重要部分,guided mask决定了卷积核在空间维度上的分布,该模块由损失函数指导优化,从而能够适应输入的空间信息变化,从而改变卷积核的分布。

  对于包含mm个channel的k×kktimes k

  为了让guided mask可学习,必须得到用来生成guided feature的权值的梯度,但由于argmax(⋅)argmax(cdot)的使用导致guided feature的梯度无法计算,所以论文设计了类似的梯度。

  根据公式4获得guided mask,根据公式5得到每个位置(u,v)(u,v)得到卷积核W~u,vtilde{W}_{u,v}

  为了使梯度得到回传,首先用F^hat{F}

F^u,vjhat{F}_{u,v}^j

  公式8为公式6的反向传播,⊙odot为逐元素相乘,如果不设计特殊的反向传播,SGD将不能对相关的参数进行优化,因为函数argmax(⋅)argmax(cdot)是不可导的。因此,softmax(⋅)softmax(cdot)是用来接近argmax(⋅)argmax(cdot),通过替换函数将梯度回传到guided feature,是的guided mask可学习。

Dynamic Filter: Filter generator module

  在DRConv中,使用卷积核生成模块来生成不同区域的卷积核,由于不同图片的特征不同,在图片间共享的卷积核不能高效地提取其独有的特征,需要定制化的特征来专注不同图片的特性。

  定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

Experiments


Classification

Face Recognition

COCO Object Detection and Segmentation

Ablation Study


Visualization of dynamic guided mask

Different model size

Different region number

Different spatial size

CONCLUSION


  论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,首先使用guided mask对特征图中的像素划分到不同的区域,其次使用卷积核生成模块动态生成区域对应的卷积核。从实验结果来看,DRConv符合设计的预期,特别是图3的guided mask的可视化结果,在多个任务上都有不错的性能提升。



如果本文对你有帮助,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

work-life balance.