• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

张兴兰 (张兴兰.) | 何丹丹 (何丹丹.)

收录:

CQVIP

摘要:

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于Simhash算法的相似文档识别技术进行研究改进,对Simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技术,同时将特征词的词性、词长、是否为标志词与是否被包含在标题中几大方面作为权重计算的考虑因素。最后使用汉明距离对文档签名值进行比较,从海量文档中精确地找出相似文档。[结论]:通过改进TF-IDF权重,使得改进的Simhash算法在相似文档识别准确率上优于其他算法。

关键词:

Fingerprint Calculation Hamming Distance Simhash Algorithm Simhash算法 Similar Document Detection TF-IDF Algorithm TF-IDF算法 指纹计算 汉明距离 相似文档检测

作者机构:

  • [ 1 ] [张兴兰]北京工业大学,北京
  • [ 2 ] [何丹丹]北京工业大学,北京

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

相关文章:

来源 :

计算机科学与应用

ISSN: 2161-8801

年份: 2020

期: 02

卷: 10

页码: 371-378

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: -1

中文被引频次:

近30日浏览量: 0

归属院系:

在线人数/总访问数:1287/2970060
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司