未来科技门户网

网站导航
  

  模型的并行性

 

  一个神经网络有许多内在的并行性。

 

  所有不同的个体神经元几乎都是彼此独立的,当你计算它们时,特别是,加入你有Local Receptive Fields,这是一个神经元从其下方少量神经元那里接受输入的地方。

 

  能够跨越不同GPU卡上的不同机器对工作进行划分,只有跨越边界的数据才需要交流。

 

  数据的并行性

 

  当你对模型的参数集进行优化时,不应该在中央服务的一台机器上进行,这样你就有不同的模型副本,通过它们之间的合作来进行参数优化。

 

  在训练中理解不同的随机数据片段。每一个副本都会获得模型中当前的参数集,通过对相当规模数据的理解来判断出梯度,找出需要对参数所作的调整,并且将调整值发回至中央参数集服务器。参数服务器会对参数进行调整。不断重复这个过程。

 

  这会在多个副本之间完成。有时他们会使用500台机器来生成500个模型副本,以便迅速实现参数的优化和处理数据。

 

  这个过程可以异步进行,每个数据分任务在各自独自的循环运算中,获取参数,计算梯度并将它们传回,不会受到其他彼此的控制和同步。结果是,按照50-100的副本规模进行练习,对许多模型来说是可行的。

 

  未来科技门户网 人工智能频道http://m.keji.okinfo.org/RenGongZhiNeng/综合发布。

m.keji.okinfo.org/标签:智能计算机系统的大规模深度学习,Large-Scale Deep Learning
热门评论 我也说两句
查看更多评论(0)
推荐阅读