针对不同时间尺度视频间的匹配问题,如人为再编辑(快进、慢放等)视频与原始视频间的匹配以及不同帧率视频间的检索等,提出了一种基于动态时间规划的最优匹配算法。在子片段的基础上进行视频相似性匹配,通过极小化两段视频的整体距离建立视频之间的子片段对应关系,引入搜索门限值,将全局搜索转变为在门限区域内的局部搜索,保持视频内部各子片段之间的时序关系并能处理非线性偏移。该算法能够成功地匹配不同时间尺度的相似视频,并能实现海量视频的快速检索。实验结果证明了该算法比传统的基于视觉相似性的视频片段检索算法更快速有效。