• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

贾熹滨 (贾熹滨.) (学者:贾熹滨) | 史佳帅 (史佳帅.)

收录:

CQVIP

摘要:

Nesterov动量法可以很好地改进梯度下降方向,但是其所有参数都具有相同的学习率,并且学习率需要人为设定。Adadelta算法可以自适应学习率,并且每维参数具有独立的学习率。因此,本文首先基于Adadelta算法推导出每一维的学习率公式,其次将其带入Nesterov动量法中,得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法,本文设计了两个实验。实验结果表明:动量参数0.5时,Ada_Nesterov动量法在VggNet_16神经网络架构上,基于CIFAR_100数据集的验证准确率最高,损失最小,收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法,具有自适应学习率。

关键词:

Adadelta Algorithm Adadelta算法 Ada_Nesterov Momentum Algorithm Ada_Nesterov动量法 Adaptive Learning Rate Nesterov Momentum Algorithm Nesterov动量法 自适应学习率

作者机构:

  • [ 1 ] [贾熹滨]北京工业大学信息学部,北京
  • [ 2 ] [史佳帅]北京工业大学信息学部,北京

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

计算机科学与应用

ISSN: 2161-8801

年份: 2019

期: 02

卷: 9

页码: 351-358

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: -1

中文被引频次:

近30日浏览量: 2

归属院系:

在线人数/总访问数:1013/2908698
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司