本发明公开了一种基于帧差图像的低码率视频编码方法，输入视频序列，若当前输入帧fn为I帧图像且不是最后一帧图像，则分别读取当前帧fn和参考帧fn+1的Y，Cb，Cr三个分量；获得帧差图像的亮度分量DY，色度分量DCb和DCr；分别进行尺度变换；得到变换后的帧差分量RY、RCb和RCr；将RY，RCb和RCr分量顺序存储合成新的帧差图像DR；将新的帧差图像DR替代原视频序列中的I帧图像，与P帧图像和B帧图像共同组成新的视频序列，作为HEVC视频编码器的编码对象进行常规视频编码；否则，直接进入HEVC视频编码器进行常规视频编码；输出编码码流。在保持视频重建图像质量的前提下，实现低码率视频编码，提高视频编码压缩比，节省比特资源，缓解视频编码的重建图像质量与编码资源占用之间的矛盾。