• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

张钊 (张钊.) | 张新峰 (张新峰.) | 贵明俊 (贵明俊.) | 郑楠 (郑楠.)

摘要:

  目的随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题。方法本文提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。结果通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。结论基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。

关键词:

LDA 主题模型 分布式计算框架 单机 平台 并行化 建立方法 提升算法

作者机构:

  • [ 1 ] [张钊]北京工业大学电子信息与控制工程学院
  • [ 2 ] [张新峰]北京工业大学电子信息与控制工程学院
  • [ 3 ] [贵明俊]北京工业大学电子信息与控制工程学院
  • [ 4 ] [郑楠]北京工业大学电子信息与控制工程学院

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

年份: 2015

页码: 84-84

语种: 中文

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: -1

中文被引频次:

近30日浏览量: 2

归属院系:

在线人数/总访问数:501/2906443
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司