收录:
摘要:
本发明涉及一种基于3D‑Ghost模块的多模态训练单模态测试的动态手势识别方法,用于解决多模态训练单模态测试的动态手势识别问题,具体利用RGB数据和深度数据训练整体网络,整体网络采用并行双通道协作学习的结构,旨在通过不同模态网络之间传递知识来改善学习过程,通道m用于通过RGB数据识别动态手势,通道n用于通过深度数据识别动态手势;训练完成后,将RGB数据输入通道m进行动态手势识别,或者将深度数据输入通道n进行动态手势识别;其中通道采用I3D网络并对其进行改进,改进之处在于增加了注意力模块,部分3D卷积层替换为3D‑Ghost模块,对所有Inception‑V1子模块进行改进。
关键词:
通讯作者信息:
电子邮件地址: