特征池化：一种用于CNN的特征选择方法

摘要

卷积神经网络（CNN）是深度学习领域的重要组成部分，在诸多领域都展现了强大的应用能力，尤其是在计算机视觉领域表现的尤为突出。CNN强大的特征提取和特征表示能力，使得视觉领域上传统的基于特征工程的解决方案逐渐变得过时，研究重心逐步转向至如何设计对任务更加有效的CNN框架上。纵观近年来比较具有代表性的CNN框架，一个突出的变化就是网络变得更深、更宽。由此也带来了一系列网络训练上的难题，像过拟合、梯度消失、网络退化等。 对于深度神经网络而带来的一系列问题，目前学术界也出现了不少的有效解决方案，例如Batch Normalization、Residual Learning等。有效的缓解了网络过拟合、梯度消失等问题，使得有效的训练深度CNN成为了可能。但是网络深度的增加依然存在瓶颈，超过了一定范围会导致网络的收益越来越小，甚至可能出现负增长。如何设计并改善现有的CNN结构，进一步增强网络的泛化能力，依旧是一个具有广阔研究前景的研究课题。 本文针对以上出现的问题，提出了在CNN内部进行显式的特征选择思想，通过特征选择过程筛选出部分有效特征，降低了深度网络过拟合的风险同时一定程度上可以增强网络的表现能力。主要的研究内容有如下四个方面： 1、分析了如何设计并改善现有的CNN结构依然存在现实意义。从网络深度和宽度的增加导致的诸多训练问题入手，分析总结当前出现的诸多解决方案下，得出深度增加依然存在瓶颈，现有的CNN结构依然存在改善的可能性。 2、提出在CNN内部进行显式的特征选择思想，将特征选择同高效的GPU运算进行结合，设计了特征池化算法并给出了具体的算法步骤。使用TensorFlow作为实现框架，结合数据的输入输出特点具体实现了特征池化算法。 3、探究了特征池化在CNN中的可行性、有效性和通用性。选取了三个比较典型的视觉任务：图像去噪、图像分类、图像风格化来具体探究。设计并实现了具体的实验网络，通过对比试验的结果来进行具体分析。 4、针对特征池化的自身特点，分析比较其与相关理论的异同点和自身的优缺点，同时结合网络数据流动原理给出了在实际应用中使用特征池化的具体建议。

目录

第一个书签之前