针对传统无人机遥感图像信息提取与分类算法准确率低、稳定性差、无法有效应对大规模复杂遥感图像数据集等问题，提出一种基于RF-SVM的遥感图像处理算法。RF-SVM算法将RF数据集分类性能较强的优势与经典SVM算法数据降维能力相融合，引入随机变量和示性函数扩大样本集的边界，提升对复杂大规模数据集的处理能力，有效控制泛化误差。在对无人机遥感图像的预处理过程中，借助Brovey变换完成对光谱和高分辨率遥感图像的像素级融合，引入核函数并根据获取到的遥感图像特征和后验概率值，实现对遥感图像内部标的物的准确分类。实验结果显示，在RF-SVM算法下，无人机遥感图像信息提取准确率分类平均准确率达到99.81%,且在RF-SVM算法下的样本点感受性曲线稳定性更好。