公告:
变换编码 您当前所在位置:pk10人工免费计划软件 > 变换编码 > 正文

其中预测问题被表示为预测函数和表示损失的可训练的鉴别器网络之

来源:未知作者:admin 更新时间:2018-04-19 16:17
原标题:学界 LeCun提犯差错编码网络,可在不确定情况中实施光阴猜测 选自arXiv 机器之心 Yann LeCun 团队克日提出一种新型框架,差错编码网络 Error-Encoding Networks,可在不确定情况中实施光阴猜测。测验考试证实它能够或者连续天生多种猜测,而不需要在

  原标题:学界 LeCun提犯差错编码网络,可在不确定情况中实施光阴猜测 选自arXiv 机器之心

  Yann LeCun 团队克日提出一种新型框架,差错编码网络 Error-Encoding Networks,可在不确定情况中实施光阴猜测。测验考试证实它能够或者连续天生多种猜测,而不需要在隐空间或对抗熬炼中瓜代停止最小化,并直接防止了情势崩溃成绩。

  在光阴序列中学习前向模型是人工智能的核心任务,此类模型常使用于无监督学习、计划和紧缩。这项任务面对的一个主要挑衅是如何处置多光阴序列的多情势成绩。当一个光阴序列有多种有效的演变标的目标时,应用范例的 L1 或 L2 丢失来熬炼模型会得到在各维度上取平均值或中值的猜测结果,但这每每不是一个有效的猜测。

  近年来,天生对抗网络(Goodfellow et al.,2014)被提出,它是一个通用网络框架,其中猜测成绩被表示为猜测函数和表示丢失的可熬炼的鉴别器网络之间的极小极大博弈。经由过程应用可熬炼的丢失函数,GAN 理论上能够或者处置多种输入情势,因为包括一切输入情势的天生器将棍骗鉴别器进而促进网络收敛。但是,繁多情势的天生器也能够或者棍骗鉴别器并使网络收敛,而且这类情势崩溃征象已在实践中被广泛察看到。研究人员已经引入了一些变通方法来处置或加重情势崩溃,如小批量鉴别,增加参数噪声(Salimans et al.,2016),经由过程睁开的鉴别器(Metz et al。,2016)停止反向传播,和应用多个 GAN 来笼盖不同的情势(Tolstikhin et al.,2017)。但是,其中许多技术能够带来额定的挑衅,比方增加了完成的复杂性和增加了计算本钱。当输入高度依赖于高低文时,比方视频猜测(Mathieu et al., 2015; Isola et al., 2016),情势崩溃成绩在条件天生设置中变得更加较着。

  在本篇论文中,咱们介绍一种新的答应在光阴序列数据中停止鲁棒的多情势条件猜测的网络架构。它基于将未来状态分解为可从近况猜测的确定性重量和因为未来情势不确定性的随机(或难猜测)重量的简略直觉。经由过程熬炼一个确定性网络,咱们能够或者以网络猜测的情势得到这个因子分解,和相对付其实状态的猜测偏差。这个差错能够或者被编码为一个低维的隐变量,它被传送到第二个网络,该网络被熬炼成经由过程学习这个附加新闻来准确地校准确定性猜测。咱们称这个模型为差错编码网络(EEN)。一言以蔽之,该框架在每一个光阴步骤包括三个函数映射:(i)从以后状态到未来状态的映射,将未来状态分为确定性和非确定性重量;(ii)从未来状态的非确定性重量到低维隐向量的映射;(iii)从以后状态到以隐向量(编码了未来状态的情势新闻)为条件的未来状态的映射。固然熬炼进程触及一切映射,但推理阶段只触及(iii)。

  两个网络都是应用监督学习目标停止端对端熬炼的,而且应用学习的参数化函数来计算隐变量,是以熬炼进程简略且快。咱们将这类方法使用于来自游戏、机器人操纵和仿照驾驶的视频数据集,而且剖明该方法能够或者连续为未来的视频帧产生多情势猜测。固然咱们在本文中侧重介绍视频,但是这类方法自己是通用的,绳尺上能够或者使用于任何连续值的光阴序列。

  许多自然进程都带有必定水平的不确定性。这类不确定性能够源自事物自己的随机进程,能够因为只察看到部分确定性进程,也能够是因为进程的复杂性大于前向模型的容量。处置不确定性的一个自然的方法是经由过程隐变量来正文目标特性,而这些特性仅靠已知的输入是无奈正文的。

  假定咱们有一组连续的矢量值,输入 - 目标对(x_i,y_i),其中目标取决于输入和一些固有的不可猜测的因素。比方,输入能够或者是一组连续的视频帧,目标能够或者是下一帧。范例的隐变量模型,如 k-均值或高斯搀杂,经由过程瓜代最小化对付隐变量和模型参数的丢失来停止熬炼; 从概率论的角度讲,这是希冀最大化算法(Dempster et al., 1977)。在神经网络模型 f_θ(x_i,z)的例子中,能够或者应用梯度降低来优化连续的隐变量,而且能够或者应用如下进程来熬炼模型:

  咱们在不同领域的五种不同视频数据集(比方 Atari Breakout、Atari Seaquest 和 Flappy Bird)、机器人操纵(Agrawal et al., 2016)和仿照驾驶(Zhang&Cho,2016)上测试了咱们的方法。它们具备明白的多情势结构,因为智能体的行动或其余随机因素,情况会产生变更,而且超越多种视觉情况。对付每一个数据集,咱们熬炼了咱们的模型曩昔 4 帧为条件来猜测以后 1 或 4 帧。咱们还熬炼了确定性基准模型和 GAN 来比力性能。相干代码见 。

  图 5:像素鸟帧猜测。前四帧是给定的,后四帧是猜测的。把稳,最月朔帧的管道高度略有不同,请缩小图片获得细节新闻。

  图 6:像素鸟帧猜测。前四帧是给定的,后四帧是猜测的。把稳,最月朔帧中鸟的高度改变了,请缩小图片获得细节新闻。

  图 7:多种模型的不同样本的最高峰值信噪比(Top PSNR)随样本数目标变更。

  在本篇论文中,咱们介绍一个新的框架,在具备不确定性的情况下实施光阴猜测。它基于一个简略的想法,即解构未来状态的组成部分,这些组成部分能够或者从固有的难以猜测的部分中猜测进去,并将不可猜测的组成部分编码成一个低维的隐变量,并将其馈送到前向模型。咱们的方法应用一个疾速且易熬炼的监督熬炼目标。咱们在多个数据集的视频猜测高低文中对其停止评价,测验考试证实它能够或者连续天生多种猜测,而不需要在隐空间或对抗熬炼中瓜代停止最小化。11选5猜测软件手机版广东11选5稳定筹划广东十一选五筹划具体

 

关于我们
联系我们
  • 杭州浩博建筑装饰工程有限公司
  • 联系地址:杭州市益乐路方家花苑43号2楼
  • 电 话:0571-85360638
  • 传 真:0571-85360638