针对仿生自主学习控制问题,根据自动机的原理,以操作条件反射学习机制为基础,运用仿生的自组织学习方法,提出一种自治操作条件反射自动机(autonomous　operant　conditioning　automata,AOCA)模型,主要包括:操作集合、状态集合、＂条件-操作＂规则集合、可观测的状态转移以及操作条件反射学习律;定义了基于AOCA状态取向值的操作熵;给出了AOCA操作熵收敛性证明;分析了AOCA自组织特性;规定了AOCA的递归运行程序.同时,将其应用于斯金纳动物实验的模拟,动物分阶段学习,并且成功习得技能,实验结果表明AOCA实现了模拟操作条件反射学习机制.