视频录制于2017年

一、拟合的三种状态

拟合的三种状态

三种不同程度的拟合图

 

欠拟合:拟合的程度还不够,不能达到很好的输出效果,没有很好的实现预期的结果。

过拟合:百分之百通过了所有的数据,但是这条曲线比较歪歪扭扭,为了根据训练数据得到比较好的曲线,但是形状可能会比较奇怪,当我们把新的数据带进来之后效果并不会很好。过拟合就是拟合出了一条非常奇怪,非常复杂的一条曲线,虽然说对样本完成了百分百的拟合,但是并不一定新的数据进来做到比较好的输出。这样的拟合虽然把训练数据分的特别好,但是不一定反映了真实的情况。再来新的样本点的时候不能很好的输出。看起来比较好,用起来比较差。

过拟合时测试的误差比训练的误差大的比较多。

正确拟合:拟合出比较合适的曲线,可以很好的拟合出曲线的形状,曲线的形状不很复杂,再来新的数据之后输出的结果也会比较好。最好的拟合。

二、防止过拟合措施

1.增加数据集

(数据挖掘中有句话:拥有一个好的数据集胜过一个好的模型)

数据集太少,神经网络过于复杂就很容易出现过拟合的情况。 

2.正则化方法

正则化示意图

正则化的意思就是在代价函数后面再添加一个项,这个项有所有权重的平方和,这样在权重越来越小的情况下,使得代价函数下降的比较快,从而达到减小网络的复杂度的目的。

3.Dropout

Dropout的方法防止过拟合图

通过改变神经网络本身来实现的防止过拟合,输入层和输出层不变,在每次迭代的时候只让一部分的隐藏层工作,不参与训练的隐藏层的权值不会发生改变。每次迭代都随机的去掉不同的隐藏层。

4.谷歌的拟合工具网址

http://playground.tensorflow.org/

 

总结:

1.拟合的网络相对于要解决的问题不能过于简单(前拟合),也不能过于复杂(过拟合)。根据实际的问题,设置与问题相匹配的复杂程度的网络。

比较简单的模型不要构建太复杂的网络,复杂的模型则需要复杂的网络去拟合。网络的构建需要根据数据的情况,数据复杂网络较复杂,数据简单网络较简单。

《基于深度学习的脑胶质瘤分割方法研究》论文介绍

说明

距离上一次发博客文章不知不觉已过去两年之久,平时虽然有写点东西的习惯,但是由于自己忙于工作生活,且在国企工作,很多东西不能直接发在网上,故久而久之便疏忽怠慢没有及时更新博客,汗颜。

最近偶然间看到之前发表的博客依然有同学会问一些医学图像相关的知识,且由于最近自己的毕业论文在知网上进行了发布,所以恰好趁这个时机将我的论文进行简单介绍,如果后续有时间也会发布一些源码和处理方法,希望共同提高共同进步吧。

论文简介

该论文是我就读于华中科技大学计算机学院医学图像处理中心之时所写的毕业论文,当时是依托导师承接的国家重点研发项目所发表的,也是我从一个深度学习和医学图像的小白到最后找到工作勉强混口饭吃的心路历程,里面会详细介绍当前进行脑胶质瘤分割所使用的主流的数据集(主要是BraTS系列数据集)、人工智能算法、图像处理方法,自我感觉是比较全的总结了2019年之前对脑胶质瘤进行分割的常规套路,并且提出一些有效的模型结构改进、loss选择优化、数据预处理方法,当然现在cv算法飞速发展,一年前的工作已不值一提,但是还是希望分享出来与大家共勉。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

知网地址

http://cdmd.cnki.com.cn/Article/CDMD-10487-1019666467.htm

百度网盘

链接:https://pan.baidu.com/s/1xvie-Cpo2qjzLL_SKj-3dg
提取码:3wmt

论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,从实验结果来看,DRConv符合设计的预期,在多个任务上都有不错的性能提升

来源:晓飞的算法工程笔记 公众号

论文: Dynamic Region-Aware Convolution

Introduction


  目前主流的卷积操作都在空间域进行权值共享,而如果想得到更丰富的信息,只能通过增加卷积的数量来实现,这样不仅计算低效,也会带来网络优化困难。与主流卷积不同,local conv在不同的像素位置使用不同的权值,这样能够高效地提取丰富的信息,主要应用在人脸识别领域,但local conv不仅会带来与特征图大小相关的参数量,还会破坏平移不变性。

  考虑到以上两种卷积的优劣,论文提出了DRConv(Dynamic Region-Aware Convolution),DRConv的结构如图1,首先通过标准卷积来生成guided feature,根据guided feature将空间维度分成多个区域,卷积核生成模块G(⋅)G(cdot)根据输入图片动态生成每个区域对应的卷积核。DRConv能够可学习地为不同的像素位置匹配不同的卷积核,不仅具有强大的特征表达能力,还可以保持平移不变性。由于卷积核是动态生成的,能比local conv减少大量的参数,而整体计算量几乎和标准卷积一致。
  论文的主要贡献如下:

  • 提出DRConv,不仅具有强大的语义表达能力,还能很好地维持平移不变性。
  • 巧妙的设计了可学习guided mask的反向传播,明确区域共享的规则(region-sharing-pattern),并根据损失函数回传的梯度进行更新。
  • 只需简单地替换,DRConv就能在图片分类,人脸识别,目标检测和语义分割等多个任务上达到很好的性能。

Our Apporach


Dynamic Region-Aware Convolution

  对于标准卷积,定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

  对于基础的local conv,定义非共享权重W∈RU×V×CWin mathbb{R}^{Utimes Vtimes C}

  结合以上公式,定义guided maskM=S0,⋯ ,Sm−1M={S_0, cdots,S_{m-1}}

  • 使用可学习的guided mask来将空间维度划分为多个区域,如图1所示,guided mask中相同颜色的像素归为同一区域,从语义的角度来看,即将语义相似的特征归为统一区域。
  • 对于每个共享区域,使用卷积核生成模块来生成定制的卷积核来进行常规的2D卷积操作,定制的卷积核能够根据输入图片的重要特征自动地进行调节。

Learnable guided mask

  作为DRConv的重要部分,guided mask决定了卷积核在空间维度上的分布,该模块由损失函数指导优化,从而能够适应输入的空间信息变化,从而改变卷积核的分布。

  对于包含mm个channel的k×kktimes k

  为了让guided mask可学习,必须得到用来生成guided feature的权值的梯度,但由于argmax(⋅)argmax(cdot)的使用导致guided feature的梯度无法计算,所以论文设计了类似的梯度。

  根据公式4获得guided mask,根据公式5得到每个位置(u,v)(u,v)得到卷积核W~u,vtilde{W}_{u,v}

  为了使梯度得到回传,首先用F^hat{F}

F^u,vjhat{F}_{u,v}^j

  公式8为公式6的反向传播,⊙odot为逐元素相乘,如果不设计特殊的反向传播,SGD将不能对相关的参数进行优化,因为函数argmax(⋅)argmax(cdot)是不可导的。因此,softmax(⋅)softmax(cdot)是用来接近argmax(⋅)argmax(cdot),通过替换函数将梯度回传到guided feature,是的guided mask可学习。

Dynamic Filter: Filter generator module

  在DRConv中,使用卷积核生成模块来生成不同区域的卷积核,由于不同图片的特征不同,在图片间共享的卷积核不能高效地提取其独有的特征,需要定制化的特征来专注不同图片的特性。

  定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

Experiments


Classification

Face Recognition

COCO Object Detection and Segmentation

Ablation Study


Visualization of dynamic guided mask

Different model size

Different region number

Different spatial size

CONCLUSION


  论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,首先使用guided mask对特征图中的像素划分到不同的区域,其次使用卷积核生成模块动态生成区域对应的卷积核。从实验结果来看,DRConv符合设计的预期,特别是图3的guided mask的可视化结果,在多个任务上都有不错的性能提升。



如果本文对你有帮助,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

work-life balance.

论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,从实验结果来看,DRConv符合设计的预期,在多个任务上都有不错的性能提升

来源:晓飞的算法工程笔记 公众号

论文: Dynamic Region-Aware Convolution

Introduction


  目前主流的卷积操作都在空间域进行权值共享,而如果想得到更丰富的信息,只能通过增加卷积的数量来实现,这样不仅计算低效,也会带来网络优化困难。与主流卷积不同,local conv在不同的像素位置使用不同的权值,这样能够高效地提取丰富的信息,主要应用在人脸识别领域,但local conv不仅会带来与特征图大小相关的参数量,还会破坏平移不变性。

  考虑到以上两种卷积的优劣,论文提出了DRConv(Dynamic Region-Aware Convolution),DRConv的结构如图1,首先通过标准卷积来生成guided feature,根据guided feature将空间维度分成多个区域,卷积核生成模块G(⋅)G(cdot)根据输入图片动态生成每个区域对应的卷积核。DRConv能够可学习地为不同的像素位置匹配不同的卷积核,不仅具有强大的特征表达能力,还可以保持平移不变性。由于卷积核是动态生成的,能比local conv减少大量的参数,而整体计算量几乎和标准卷积一致。
  论文的主要贡献如下:

  • 提出DRConv,不仅具有强大的语义表达能力,还能很好地维持平移不变性。
  • 巧妙的设计了可学习guided mask的反向传播,明确区域共享的规则(region-sharing-pattern),并根据损失函数回传的梯度进行更新。
  • 只需简单地替换,DRConv就能在图片分类,人脸识别,目标检测和语义分割等多个任务上达到很好的性能。

Our Apporach


Dynamic Region-Aware Convolution

  对于标准卷积,定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

  对于基础的local conv,定义非共享权重W∈RU×V×CWin mathbb{R}^{Utimes Vtimes C}

  结合以上公式,定义guided maskM=S0,⋯ ,Sm−1M={S_0, cdots,S_{m-1}}

  • 使用可学习的guided mask来将空间维度划分为多个区域,如图1所示,guided mask中相同颜色的像素归为同一区域,从语义的角度来看,即将语义相似的特征归为统一区域。
  • 对于每个共享区域,使用卷积核生成模块来生成定制的卷积核来进行常规的2D卷积操作,定制的卷积核能够根据输入图片的重要特征自动地进行调节。

Learnable guided mask

  作为DRConv的重要部分,guided mask决定了卷积核在空间维度上的分布,该模块由损失函数指导优化,从而能够适应输入的空间信息变化,从而改变卷积核的分布。

  对于包含mm个channel的k×kktimes k

  为了让guided mask可学习,必须得到用来生成guided feature的权值的梯度,但由于argmax(⋅)argmax(cdot)的使用导致guided feature的梯度无法计算,所以论文设计了类似的梯度。

  根据公式4获得guided mask,根据公式5得到每个位置(u,v)(u,v)得到卷积核W~u,vtilde{W}_{u,v}

  为了使梯度得到回传,首先用F^hat{F}

F^u,vjhat{F}_{u,v}^j

  公式8为公式6的反向传播,⊙odot为逐元素相乘,如果不设计特殊的反向传播,SGD将不能对相关的参数进行优化,因为函数argmax(⋅)argmax(cdot)是不可导的。因此,softmax(⋅)softmax(cdot)是用来接近argmax(⋅)argmax(cdot),通过替换函数将梯度回传到guided feature,是的guided mask可学习。

Dynamic Filter: Filter generator module

  在DRConv中,使用卷积核生成模块来生成不同区域的卷积核,由于不同图片的特征不同,在图片间共享的卷积核不能高效地提取其独有的特征,需要定制化的特征来专注不同图片的特性。

  定义输入X∈RU×V×CXin mathbb{R}^{Utimes Vtimes C}

Experiments


Classification

Face Recognition

COCO Object Detection and Segmentation

Ablation Study


Visualization of dynamic guided mask

Different model size

Different region number

Different spatial size

CONCLUSION


  论文提出DRConv,很好地结合了局部共享的思想并且保持平移不变性,包含两个关键结构,首先使用guided mask对特征图中的像素划分到不同的区域,其次使用卷积核生成模块动态生成区域对应的卷积核。从实验结果来看,DRConv符合设计的预期,特别是图3的guided mask的可视化结果,在多个任务上都有不错的性能提升。



如果本文对你有帮助,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

work-life balance.