本发明公开一种基于混合深度学习模型的动态手势识别方法包括：训练阶段，首先基于构成手势视频的图像集训练CNN，然后利用训练好的CNN逐帧提取动态手势视频序列每帧的空间特征；对待识别的每个手势视频序列，将CNN学习到的各帧级特征按时间顺序组织成矩阵；把该矩阵输入到MVRBM以学习融合时空属性的手势动作时空特征；引入具有判别性的NN；即把MVRBM看作NN模型参数的预训练过程，把MVRBM学到的网络权值和偏置作为NN的权值和偏置的初值，并通过反向传播算法微调NN权值和偏置；测试阶段，同样基于CNN逐帧提取动态手势视频序列每帧特征并拼接，输入前述训练好的NN进行手势识。采用本发明的技术方案，实现对3D动态手势视频序列的有效时空表示。