深度学习算法在电力系统暂态稳定性评估问题上有着优秀的表现，然而模型评估结果的不可知性与决策过程的不可控性阻碍了其在实际中进一步的应用。构建了基于Transformer编码器的暂态稳定评估模型，尝试通过模型对于特征量的注意力权重，解释和分析模型所关注和学习到的规则。在此基础上，结合可解释性结果提出了一种利用物理信息指导模型优化的模型更新方法。从模型的损失函数出发，通过微调的方式修正模型对特征量的注意力权重分布，加强对于样本失稳模式的挖掘。在微调模型的过程中，引入注意力引导函数提高对特定失稳模式关键机组的关注度，以减少对于特定失稳模式样本的误判，进一步提高整体的预测精度。在IEEE39节点系统和华东电网系统的仿真均验证了该方法的有效性。