概述

神经体系结构搜索(NAS)是一种用于自动化人工神经网络(ANN)设计的技术,该技术是机器学习领域中广泛使用的模型。 NAS已用于设计与手工设计的架构具有同等性能或优于手工设计的网络。可根据搜索空间,搜索策略和性能评估策略对NAS的方法进行分类:
  • 搜索空间定义了可以设计和优化的ANN类型。
  • 搜索策略定义了用于探索搜索空间的方法。
  • 性能评估策略从其设计中评估可能的人工神经网络的性能。
NAS与超参数优化密切相关,是自动机器学习(AutoML)的一个子领域。
fig1

我们的方法

总结
  • 性能排序假设:如果在特定的网络和训练时期,一个网络A的验证性能高于小于B,则在这些网络的训练收敛之后,网络A的性能往往优于小与B。
  • 多项式分布学习:在学习过程中,分布的参数通过每个时期的当前性能进行更新,从而将不良操作的概率转移到更好的操作上。
方法
  • 根据具有参数的相应多项式分布在搜索空间中采样一个运算 θ.
  • 通过向前和向后传播训练生成的网络。
  • 在验证集上测试网络并记录反馈(时间和准确性)。
  • 根据建议的分布学习算法更新分布参数。在右表中,操作1的训练次数是10,这意味着在所有时期中选择了10次此操作。
fig1

性能评估

Cifar10 结果:
fig1

ImageNet 结果:
fig1

代表论文

  • Xiawu Zheng, Rongrong Ji, Lang Tang, Yan Wan, Baochang Zhang, Yongjian Wu, Yunsheng Wu, Ling Shao
    Dynamic Distribution Pruning for Efficient Network Architecture Search. [pdf] [code] [bibtex]
    The IEEE International Conference on Computer Vision (ICCV).
    
    		 
    		 @InProceedings{Zheng_2019_ICCV,
    author = {Zheng, Xiawu and Ji, Rongrong and Tang, Lang and Zhang, Baochang and Liu, Jianzhuang and Tian, Qi},
    title = {Multinomial Distribution Learning for Effective Neural Architecture Search},
    booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
    month = {October},
    year = {2019}
    }
    		 
    												 
    		 
    												 
  • Zheng, Xiawu and Ji, Rongrong and Tang, Lang and Zhang, Baochang and Liu, Jianzhuang and Tian, Qi.
    Multinomial Distribution Learning for Effective Neural Architecture Search [pdf] [code] [bibtex]
    Arxiv 2019.
    
    		 
    		 @article{DBLP:journals/corr/abs-1905-13543,
      author    = {Xiawu Zheng and
                   Rongrong Ji and
                   Lang Tang and
                   Yan Wan and
                   Baochang Zhang and
                   Yongjian Wu and
                   Yunsheng Wu and
                   Ling Shao},
      title     = {Dynamic Distribution Pruning for Efficient Network Architecture Search},
      journal   = {CoRR},
      volume    = {abs/1905.13543},
      year      = {2019},
      url       = {http://arxiv.org/abs/1905.13543},
      archivePrefix = {arXiv},
      eprint    = {1905.13543},
      timestamp = {Mon, 03 Jun 2019 13:42:33 +0200},
      biburl    = {https://dblp.org/rec/bib/journals/corr/abs-1905-13543},
      bibsource = {dblp computer science bibliography, https://dblp.org}
    }