• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

杨震 (杨震.) (学者:杨震) | 王来涛 (王来涛.) | 赖英旭 (赖英旭.) (学者:赖英旭)

收录:

CQVIP PKU CSCD

摘要:

针对在线评论,提出了一种短文本语义距离计算模型,将文本距离看成是形式距离和单元语义距离的综合。首先,在对变异短文本进行预处理的基础上,以中文词语为单位,利用词典进行语义扩展,计算短文本间最大匹配距离,将其作为衡量短文本间形式距离的指标;其次,基于短文本中的实义单元和非实义单元的不同作用,利用改进的编辑距离算法计算短文本的单元语义距离;最后,利用加权的方法将形式距离和单元语义距离综合为文本距离,并将其应用于网络在线评论的聚类分析。特别地,为了缓解短文本长度差异所造成的计算误差,提出利用词表长度对距离进行惩罚,并根据Zipf’s Law和Heap’s Law的对应关系,给出了一种文本词表长度的估计方法,并阐明了文本Zipf指数α对长度惩罚的关键性作用机制。实验结果表明,改进算法优于传统方法,聚类性能显著提升。

关键词:

Heap’s Law Zipf’s Law 在线评论 文本聚类 语义距离 长度惩罚

作者机构:

  • [ 1 ] [杨震]北京工业大学
  • [ 2 ] [王来涛]北京工业大学
  • [ 3 ] [赖英旭]北京工业大学

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

软件学报

ISSN: 1000-9825

年份: 2014

期: 12

页码: 2777-2789

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: 14

中文被引频次:

近30日浏览量: 2

归属院系:

在线人数/总访问数:3394/2926439
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司