针对自然场景理解问题，利用图像中的层次结构，提出了一种基于分层合并的图像场景理解方法。该方法通过不断合并相邻区域，直到合并出图像中的各个对象为止；最终得到一个合并森林，森林里的每棵树对应图像中的一个对象。我们设计了一个机器学习模型来描述合并过程、一种贪心推理方法来求解最优的合并森林以及一种基于最大间隔的学习方法来训练模型中的参数，同时采用分层聚类来进行参数的初始化。本文方法可以看成为图像语义理解而设计的一种深度学习方法。实验效果令人满意。