功放parameter是什么意思 parameter是什么意思

作者｜第四范式先知平台架构师陈迪豪
编辑｜Natalie
本文经作者授权发布于 AI 前线，未经许可不得转载！
AI 前线导读： ENAS 全称为 Efficient Neural Architecture Search ，出自谷歌 Jeff Dean 等人在 2018 年发表的论文《Efficient Neural Architecture Search via Parameter Sharing》，可以在一天内自动训练得到一个比人类设计效果更好的模型。那么这个看上去很神奇的 ENAS 到底有何奇妙之处？它与最近风头正盛的 AutoML 有何关系？本文将循序渐进地介绍业界主流的自动生成神经网络模型的 NAS 算法，以及目前最为落地的 ENAS 算法，带你一探 ENAS 究竟。更多干货内容请公众号“AI 前线” ，（ID：ai-front）
简介
随着机器学习算法的突破， AutoML 逐渐被业界所熟知并开始落地应用。Google 近期频频发布 AutoML 相关的论文，并且在 Google Cloud 平台推出了 AutoML Vision 服务，此服务允许用户上传少量标记过的图片数据即可重新训练一个专属的图像分类模型。在我微博中大概介绍了这项“AutoML”技术，实际上可以通过 Fine-tune 等方式实现，因此抛出本文第一个观点， AutoML 的定义没有强制标准，只要能自动训练出好的模型就是有价值的 AutoML。
ENAS 全称 Efficient Neural Architecture Search ，出自 Google 在 2018 年发布的论文《Efficient Neural Architecture Search via Parameter Sharing》（论文链接：https://arxiv.org/pdf/1802.03268.pdf ），通过共享模型参数的形式高效实现神经网络模型结构的探索，也就是说可以在一天内自动训练得到一个比人类设计效果更好的模型。ENAS 使用了强化学习、动态构建计算图等技术，从宏观角度看是一种搜索算法，产出是一个精心挑选的 NN 模型，因此这是一种很符合期望的 AutoML ，除此之外要实现完整的“自动 (Auto) 机器学习 (ML)”还需要有自动特征抽取、自动超参调优等技术支持，但暂时不在本文的讨论范围。
对于 ENAS 的介绍，大家可能已经看过媒体界吹捧的《谷歌大脑发布神经架构搜索新方法：提速 1000 倍》、《Jeff Dean 等人提出 ENAS：通过参数共享实现高效的神经架构搜索》等文章。这里抛出本文第二个观点，看媒体翻译的技术文章没有用，想学习技术可以看论文原文或者本文。在介绍 ENAS 算法实现细节之前，希望可以循序渐进地介绍一些前置的基础知识理解。
NAS 的原理
NAS 也就是 Neural Architecture Search ，目标是从一堆神经网络组件中，搜索到一个好的神经网络模型。我们知道神经网络模型是一种可任意堆砌的模型结构，基础的组件包括 FC（全连接层）、Convolution（卷积层）、Polling（池化层）、Activation（激活函数）等，后一个组件可以以前一个组件作为输入，不同的组件连接方式和超参配置方式在不同应用场景有不同的效果，例如下面就是在图像分类场景非常有效的 Inception 模型结构。
图内结构比较复杂不理解也没关系，我们只需要知道这个神经网络结构是由图像领域专家花费大量精力设计出来的，并且经过了巨量的实验和测试才能（在不能解释深度学习原理的情况下）确定这个网络结构。
那么计算机是否可以自己去学习和生成这个复杂的网络结构呢？目前是不行的，包括各种 NAS 算法的变形还有 ENAS 算法暂时也无法生成这样的网络结构，这里抛出本文第三个观点，绝大部分机器学习都不是人工智能，计算机不会无缘无故获得既定目标以外的能力。因此，计算机并不是自己学会编程或者建模，我们还没有设计出自动建模的数据集和算法，所谓的“AI 设计神经网络模型” ，其实只是在给定的搜索空间中查找效果最优的模型结构。

功放parameter是什么意思 parameter是什么意思

推荐阅读

关于节约粮食的名言诗句关于节约粮食的名言和诗句

奋斗励志朋友圈句子励志短句致自己奋斗朋友圈

想发朋友圈表示心情不好的句子心情不好发朋友圈的句子心情短句

贝拉玻尿酸是合法的吗贝拉玻尿酸是进口的还是国产的

核桃仁做菜的菜谱，您知道桃仁脆溜鸡的做法

浅紫色显皮肤黑还是白

库伦旗景点

居家隔离和集中隔离的区别什么情况下要隔离28天

蝉蛹是什么

怎样能丰胸最安全有效