基于Wi-Fi的手势识别技术在智慧医疗、智能家居、工业生产、游戏交互等领域中有着广阔的应用前景,然而在实际应用中,一个在原用户(源域)数据集上训练得到的手势识别模型应用于新的用户(目标域)时准确率会显著下降.为了解决这一问题,提出了一种应用于Wi-Fi的域自适应手势识别方案.首先,使用一种新的轻量级卷积神经网络对源域数据预训练；然后,设计一种新的域自适应网络进行无监督迁移学习,引入了相关对齐损失将源和目标域深度特征的二阶统计量对齐,并使用中心损失提高特征的可判别性,使类内聚合、类间分散.实验证明提出的方案用于识别新用户手势动作具有很好的效果.在用户变化的情况下,所提方案将手势识别平均准确率从62.7%提升至90.2%,可以显著提升用户变化时Wi-Fi手势识别的鲁棒性.