麻省理工学院发现更小更容易训练的神经网络,或有望推动技术改革

时间:2019-07-12 来源: 佛学
88必发手机网页版

麻省理工学院发现了一个更小,更容易训练的神经网络,或者有望促进技术变革

神经网络技术起源于20世纪50年代和60年代,当时它被称为感知器,具有输入层,输出层和隐含层。输入特征向量通过隐藏层变换到达输出层,并在输出层获得分类结果。

尽管人工智能取得了巨大进步,但大多数基于人工智能的产品仍然依赖于“深度神经网络”。这种网络通常非常大,培训成本非常高。

麻省理工学院的研究人员希望改变这种状况。在今天发表的一篇论文中,研究人员发现,神经网络中包含的“子网络”比以前的网络小10倍,可以更便宜,更快地进行训练。

为了训练大多数神经网络,工程师为他们提供了大量的数据集,但这可能需要数天和昂贵的GPU。

50e1eeff280d40ae8b228a2d64b0a68a.jpeg

来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员发现,在这些训练有素的网络中,有较小的子网络可以做出同样准确的预测。

CSAIL的所谓“彩票假设”基于这样一种观点,即训练大多数神经网络就像购买所有彩票以确保获胜。相比之下,培训子网就像购买彩票一样。

问题是研究人员没有想出如何在不构建完整的神经网络的情况下找到这些子网,然后修剪掉不必要的位。研究人员尚未找到找到这些子网的方法。

如果他们可以找到跳过此步骤并直接进入子网的方法,则此过程可以节省数小时的工作量。培训神经网络不仅对大公司开放,也对个别程序员开放。

看看更多

新闻排行
  1. 旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?

    旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?...

  2. 2019年世界插画奖颁奖典礼获奖作品!Hiiibrand(ID:hiiibrand_com)世界插画家奖是由着名插画家协会(AOI?

    2019年世界插画奖颁奖典礼获奖作品!Hiiibrand(ID:hiiibrand_com)世界插画家奖是由着名插画家协会(AOI?...

  3. 黄秋葵含有丰富的维生素A和C,可以增强宝宝的免疫力秋葵含有丰富的水溶性膳食纤维和维生素A,维生素C,矿物

    黄秋葵含有丰富的维生素A和C,可以增强宝宝的免疫力秋葵含有丰富的水溶性膳食纤维和维生素A,维生素C,矿物...

  4. 旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?

    旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?...

  5. 旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?

    旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?...

  6. 麻省理工学院发现了一个更小,更容易训练的神经网络,或者有望促进技术变革神经网络技术起源于20世纪50年代

    麻省理工学院发现了一个更小,更容易训练的神经网络,或者有望促进技术变革神经网络技术起源于20世纪50年代...

  7. 旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?

    旭辉竞得台州市椒江区下陈街道155亩超大地块  5月9日,椒江区下陈街道机场路以东、洪三路以北商住地成功?...

  8. 战报|赵无极领衔、KAWS持续火热:富艺斯香港追随新兴热点收获2.4亿港元  扩展阅读:雅昌艺术网关于“以冒

    战报|赵无极领衔、KAWS持续火热:富艺斯香港追随新兴热点收获2.4亿港元  扩展阅读:雅昌艺术网关于“以冒...

  9. 黄秋葵含有丰富的维生素A和C,可以增强宝宝的免疫力秋葵含有丰富的水溶性膳食纤维和维生素A,维生素C,矿物

    黄秋葵含有丰富的维生素A和C,可以增强宝宝的免疫力秋葵含有丰富的水溶性膳食纤维和维生素A,维生素C,矿物...

  10. 战报|赵无极领衔、KAWS持续火热:富艺斯香港追随新兴热点收获2.4亿港元  扩展阅读:雅昌艺术网关于“以冒

    战报|赵无极领衔、KAWS持续火热:富艺斯香港追随新兴热点收获2.4亿港元  扩展阅读:雅昌艺术网关于“以冒...

日期归档
友情链接