亚马逊的ANDREAS DAMIANOU如何将概率和不确定性引入到深度学习中

|


如果我现在描述一个虚构的人,地方或物体,那么你可以在你的头脑中唤起我的描述的形象。
我还可以提出这个项目的变量特征,这将导致你想象不同版本的对象。然而,这个看似简单的任务给机器带来了几个挑战。 

在  上周在伦敦深度学习峰会上,我们听取了亚马逊的Andreas Damianou的讲话他分享了他最近在通过应用深度学习的概率和不确定性的情况下改进机器功能的工作。

标准神经网络通过输入和输出学习功能,并且“一旦他们学会了它就成为一个确定性的事情。你给出投入,你得到所有相同的产出。“ 现在为什么这是一个问题?如上面的例子所示,安德烈亚斯解释说“有网络不知道什么不知道的过度配置的问题”,机器不可能“想象”其外的某些东西 如果模型包含决定论,你就不能产生可能和不确定的数据集,例如作为人类,我可以理解分类的人,这使我有可能想象新的人 - 如果模型中有决定论,那么这将成为一个问题!

这是什么意思,为什么这很重要?

如果一个系统能够想象场景并准确地创建预测,则可以更有可能估计结果。例如,知道你的系统如何确定某种决定会影响到它的最终决定,例如在一辆自主的汽车中,如果系统能够告诉我,道路是明确的99%的确定性,那将会做出非常不同的决定比如果只有50%肯定。安德烈亚斯谈到这些系统时说,知道什么不知道的系统能够在不确定的情况下收集正确的数据 - 如果您将不确定性纳入您的模型,它将会知道需要收集更多数据的位置。

但是如何引入不确定性?亚马逊正在使用概率和贝叶斯方法进行“传统的”深度学习方法。这允许以三种方式引入不确定性:

  • 处理权重作为分配
  • 翘曲功能随机性
  • 应用于DNN的贝叶斯非参数可以实现上述两者,例如深高斯过程

结果?贝叶斯神经网络:BNN

在模型上,没有什么需要改变这里,但推论是不容易的 - 这就是为什么贝叶斯模型更具挑战性。

推论仍然是一个挑战 - 由于其出现的非线性方式,难以计算。要实现贝叶斯推理,权重需要整合,给出一个适当定义的参数后验,让亚马逊在架构上进行比较。安德烈亚斯解释了贝叶斯神经网络参数的处理是如何优化避免过度拟合和“启发式”的优雅方式,同时提供了一个坚实的数学基础。深高斯过程方法的家族可以看作是非参数贝叶斯神经网络。引入贝叶斯非参数的不确定性现在被添加到方程中以克服结构不确定性的问题。深高斯过程现在带来了先前的权重,输入/潜在空间被核心化,

亚马逊想要能够预测未来会发生什么事情。以一个可以走路的模型为例,它将如何学习运行?从上一步的步行条件,该模型能够从上一步学习。

在循环学习中,系统能够使用其内部存储器来处理输入序列,因此在这些情况下,不确定性非常重要,因此通过将其与高斯过程相结合,您可以输入关于函数的以前的泛化:

即使他没有懒惰的眼睛,我设法给我的同事一个懒惰的眼睛,但是我设法找到了改变数据的方式 - 这是允许数据根据已经知道的东西来想象的东西。如果您不考虑不确定性,这是您浪费的信息 - 您需要采取一步并将其转化一次,然后再次转换,并阻止您丢失信息。

安德烈亚斯在演讲结束时就开始提问,被问及“近似如何影响演出?” 他解释说,因为“我们不使用精确的数值方法,我们从来不知道我们对实际解决方案有多近!我们使用近似值取决于假设 - 有时如果你不小心使用近似值可能真的很糟糕,所以它是一个权衡,有时它的工作更好,有时不是。肯定需要更多的研究。“

请尊重我们的辛苦付出,未经允许,请不要转载ca88亚洲城【官】_电子爱好者网的文章!
上一篇:AI机器人可以解决情绪增重吗?
下一篇:Gartner: 十大未来企业IT与消费者猜测