当前位置: 首页 >> 国内时事 >> 娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技能MorphNet,娇兰 >> 正文

娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技能MorphNet,娇兰

2019年04月19日 04:27:42     作者:admin     分类:国内时事     阅读次数:273    
暴君的爱奴

鱼羊 编译收拾

想要调整你的神经网络来完结特定使命?这件事死神295并没有幻想中那么简略。

深度神经网西门豹治水络(DNN)是块好砖,不过想要搬动它,需求耗费的核算资源和时刻本钱韩国黄智仁或许十分贵重。

现在,Google AI放出了MorphNet。他们用盛行的图画分类神经网络Inception V2上原奈奈对其进行测亚洲塑化质料实时报价试之后发现,在不献身精度的状况下,神经网络变得更快更小,算力耗费还削减了!

M娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰orphNet是什么

MorphNet是一种神经网络模型优化( refinement)技术,走的是运用现有架构,针对特定使命优化的道路。

也就是说这是一个迁娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰移学习问题。搬迁学习的难点在于找出不变量,模型需求处理许多与此前练习的使命方针附近,但又不完全相同的使命,这会使模型功能大打折扣乃至溃散。

而Mor随身桃源小神农phNet的成功之处在于,只要将针对类似问题构建的神经网络作为输入,就能为新使命发明更小、更快、更合身的新架构。

狼性老公别过来 千音伊代

MorphNet经过循环缩短和扩展两个阶段来优化神经网络。

缩短阶段

在缩短阶段,MorphNet会辨认出低效神经元,并运用稀少正则化乐朗乐读器来修剪它们。

需求阐明的是MorphNet会在考虑方针资源的状况下来核算一个神经元的丢失,因此在练习进程之中,优化器能够意识到资源丢失,然后认识到哪些神经元是高效的,哪些又是能够被移除的。

有些不明白?那么来看看下面这个比如,看MorphNet是怎么核算神娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰经网络的核算本钱(如FLOPs,即每秒浮点运算次数)的:

假定一个表明为矩阵乘法的神经网络层,该层具有 2 个输入(Xn),6 个权亲屁股重(a, b, …, f)以及 3 个输出(Yn;神经元)。也就是说评价这一层需斯特里戈伊要 6 次乘法。

MorphNet将乘法数娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰视作输入数和输出数的乘积。在左边的示例傍边,虽然有两个权重为0,进行评价时依然需求履行一切的乘法。但中心的示例显现了结构的稀少性,MorphNet能够辨认它的输出数为 2,而且该层的乘法数从 6 削减到了4。依照这个主意,乱文MorphNet能够确认网络中每一个神经元的增量本钱,以发生右侧嫂子视频这样更为有用的模型。

扩展阶段

在扩展阶段,MorphNet运用宽度乘数来均匀地扩展一切层的巨细。

举西安伴游个比如,假如扩展50%,那么关于低效层来说,神经元从 100 个缩短到 10 个之后,只会从头扩展到15个;而关于重要层来说,神经元只会从 100 个缩短到 80 个,从头扩展后则或许到达 120娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰 个,而且取得更多可支配的资源。

也就是说,MorphNet的终究作用是将核算资源从网络中功率低的部分从头分配到功率高的部分。

MorphNet优化AI模型 作用怎么样

Google AI团队用MorphNet对Inception V2网络模型进行了练习。

图片截自论文MorphNet论文

基线办法是运用宽度乘数,经过均匀缩小每个卷积的输出数量来权衡精度和算力耗费(赤色)。

MorphNet办规律直接以算力耗费为方针,在缩短模型时生成更好的权衡曲线(蓝色)。

在平等精度之下,MorphNet办法将算力耗费降低了11%到15娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技术MorphNet,娇兰%。

在对Incep通百艺视频tion V2的优化上MorphNet表现出色,关于其他的网络模型,MorphNet太久太久是否过了太久也同定量灌装机样好用。

图片截自论文MorphNet论文

既成功紧缩了模型尺度/ FLOPs,在质量上又几乎没有丢失,公然Google出品,必属精品。

这么好用的东西,Google现已自己用起来了。Google AI团队表明,MorphNet已应用于Google多个生产规模的图画处理模型。

传送门

MorphNet现已开源。

GitHub地址:

https://github.com/google-research/morph-net

论文地址:

https://arxiv.org/pdf/1711.06798.pdf

作者系网易科斯塔沙滩独练新闻网易号“各有情绪”签约作者

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
除非特别注明,本文『娇韵诗,让神经网络变快变小变高效:Google AI出品的神经网络模型优化技能MorphNet,娇兰』来源于互联网、微信平台、QQ空间以及其它朋友推荐等,非本站作者原创。 本站作者admin不对本文拥有版权,如有侵犯,请投诉。我们会在72小时内删除。 但烦请转载时请标明出处:“本文转载于『拉课实验室-汇聚全球经营-共创美好新地球』,原文地址:http://www.lasik-lab.com/articles/1706.html