为了提高核相关滤波器(CF)跟踪算法的鲁棒性,同时使得传统CF方法能够应对跟踪目标尺度大小发生变化以及遮挡等问题,本文提出了一种尺度自适应模板更新的跟踪算法。通过对提取的多通道样本特征进行尺度变换处理,训练分类器获得最大响应值所在尺度特征即为最合适的目标尺度,能够较好地实现目标跟踪框的自适应改变,使算法精确度得以提高。对模型更新机制进行改进,预先设定一个阈值系数作为判断标准,如果当前目标发生遮挡或变形,则停止更新模板,避免发生漂移现象,提高算法的实时性和稳定性。在OTB100数据集上的实验结果表明,本文提出的算法在目标遮挡、变形、尺度变化等复杂场景具有良好的适应性和稳定性达预期效果。