Classification 分类

[Bryce1010]

综述

• [DeepLearning 综述]DeepLearning Classification [blog]
• (2019.01) A Survey of the Recent Architectures of Deep Convolutional Neural Networks [paper]
• https://paperswithcode.com/task/image-classification
• https://www.reddit.com/r/computervision/
• https://www.reddit.com/r/MachineLearning/

[Bryce1010]

Papers

• (2020 CVPR) Designing Network Design Spaces [paper]

• (2019.11) CSPNet: A New Backbone that can Enhance Learning Capability of CNN [paper]

• (2020 CVPR) Momentum Contrast for Unsupervised Visual Representation Learning [paper]

• (2019.11) Self-training with Noisy Student improves ImageNet classification [paper]

• (2020) Fixing the train-test resolution discrepancy: FixEfficientNet [paper]

• (2019 NIPS) Fixing the train-test resolution discrepancy [paper]

• (2019 ICML) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [paper]

• (2019 CVPR) HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs [paper]

• (2020 TPAMI) Res2Net: A New Multi-scale Backbone Architecture [paper]

• (2019.04) HRNet High-Resolution Representations for Labeling Pixels and Regions [paper]

• VGG

• ResNet

• SpineNet

• EfficientNet

(2019.11) CSPNet: A New Backbone that can Enhance Learning Capability of CNN

Cross Stage Partial Network
下图是cspnet对不同backbone结合后的效果，可以看出计算量大幅下降，准确率保持不变或者略有提升（ps: 分类的提升确实不多）

下图是CSPNet用于目标检测的结果：

CSPNet提出主要是为了解决三个问题：

• 增强CNN的学习能力，能够在轻量化的同时保持准确性。
• 降低计算瓶颈
• 降低内存成本
  
  Fustion First的方式是对两个分支的feature map先进行concatenation操作，这样梯度信息可以被重用。

Fusion Last的方式是对Dense Block所在分支先进性transition操作，然后再进行concatenation， 梯度信息将被截断，因此不会重复使用梯度信息 。

上图是DenseNet的示意图以及CSPDenseNet的改进，改进点在于CSPNet将浅层特征映射为两个部分，一部分经过Dense模块（图中的Partial Dense Block）,另一部分直接与Partial Dense Block输出进行concate。

论文中列举了三种FPN：

第一个如（a）图所示，是最常见的FPN，在YOLOv3中使用。（ps: YOLOv3中的FPN跟原始FPN不同，其融合的方式是concate）

第二个如（b）图所示，是ThunderNet中提出的GFM, 之前的文章中有详解，直接将多个不同分辨率的特征进行融合，具体融合方式是相加。

第三个如（c）图所示，是EFM，也就是本文提出的融合方式，没两层之间特征进行融合，并且在原有FPN基础上再进行一次bottom-up的融合方式。

(2019 ICML)EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

文章针对网络的width，网络的depth，输入图像的resolution做实验，结果如下：

因此文章想到，通过对这几个维度的超参数NAS一个融合平衡出一个最优的结果出来，使得网络得到更好的结果：

(2020CVPR) SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization

SpineNet, a backbone with scalepermuted intermediate features and cross-scale connections
that is learned on an object detection task by Neural Architecture Search.

检测结果

思路来源：
作者在思考这种scale decreased的网络是否适合当detection和segmentation的backbone，所以就做了一些实验：

Figure3中图左表示一般的scale decrease网络，图右就是做了scale permutation后的网络。

为了对比方便，paper中采用resnet50作为实验网络，设计scale permutation
搜索空间有三种情况：

• scale permutation

• cross-scale connection
  方式是只能前面的网络链接后面的网络；

• block adjustments
  调整level和type
  
  Figure 4中，图a表示backbone为resnet50的retinaNet；b为采用了前7层固定，后10层permutation的R23-SP30；c为将全部的block都permutation的R0-SP53；d为对block做变换，有两种选择：level和type；level可以为[-1,0,1,2]，type可以为residual block或者bottleneck block。

[Bryce1010]

Tiny Classification

• (2019 CVPR oral) ANTNets: Mobile Convolutional Neural Networks for Resource Efficient Image Classification [paper]

[Bryce1010]

Code

• load image

def load_images(paths):
    all_images = []
    for path in paths:
        image_df = pd.read_parquet(path)
        images = image_df.iloc[:, 1:].values.reshape(-1, 137, 236).astype(np.uint8)
        del image_df
        gc.collect()
        all_images.append(images)
    all_images = np.concatenate(all_images)
    return all_images

[Bryce1010]

Todo