针对旋转双棱镜系统逆问题求解复杂和目标跟踪误差大等现状，提出了一种基于虚拟系统的旋转双棱镜目标跟踪方法。基于非近轴光线追迹法构建了映射实际旋转双棱镜系统出射光束空间指向的虚拟系统，并将粒子群优化算法引入虚拟系统；根据待跟踪目标的位置信息，粒子群中的粒子基于相互协作和信息共享机制估计棱镜转角并优选最佳棱镜转角。若估计棱镜转角映射的虚拟旋转双棱镜系统出射光束指向与待跟踪目标之间的估计误差小于实际误差，则实际棱镜转角将被优选的棱镜转角替代并应用于实际的旋转双棱镜系统。开展静态目标和动态目标实验，结果显示，平均指向误差（静态）和稳定后的跟踪误差（动态）分别为9.43　pixel和13.04　pixel，验证了本文所提方法在旋转双棱镜目标跟踪应用中的可行性。