随着数字视频监控技术的普及与应用,基于视频监控信息的出租车行业智能化管理成为可能。特别是在强化道路交通的安全管理,缓解执法人员压力等方面发挥了重要作用,但目前尚缺少针对出租车运营管理与分析的智能化处理技术。对此,提出一种私自揽客行为检测算法。使用Haar特征结合Adaboost分类器对出租车进行识别;利用改进的ViBe算法提取运动人体目标,并快速消除鬼影干扰;判断人车位置关系,并提取人在上车过程中的多姿态特征,送入SVM分类器进行训练,实现对人体行为的分类。实验结果表明:该方法能够适应复杂环境,抗干扰能力较强,可实时检测私揽行为是否发生。