为了补偿用激光外差干涉法进行纳米测量产生的非线性误差,进行了非线性误差补偿的实验研究。根据镀膜实体角锥棱镜反射光的偏振特性,推导出当激光器出射光束存在偏振椭圆化时,测量角锥棱镜以运动方向为轴线的轴向旋转对非线性误差一次谐波的影响模型。分析表明,测量角锥棱镜以其运动方向为轴线的轴向旋转会减小非线性误差一次谐波。实验显示,当测量角锥棱镜轴向旋转角从0°增加到100°时,非线性误差从3.48　nm减小到1.39　nm,实现了非线性误差一次谐波减小为原来的40%。该方法避免了现有的非线性误差补偿方法光路系统和电路系统复杂的缺点,系统实现很简单。