检索式多轮对话是多轮对话中一个重要的分支,如何从众多的候选回复中选择出最适合当前上下文的答复是检索式多轮对话的关键问题.近年来,深度神经网络模型在多轮回复选择问题上取得了较大进展.然而,现有模型依然存在对上下文语义理解不准确,缺乏对上下文内部、话语内部蕴含的时序语义关系的学习等问题.针对上述问题,本文提出了一种基于预训练语言模型的多辅助任务优化的学习方法MSE-BERT.首先,通过区间掩码生成任务优化预训练模型,使其更好地适应当前领域的数据集.提出一种辅助任务是token乱序插入任务,该任务通过随机选择上下文中的一句话语并将其内部的token进行随机打乱,然后预测这句话在上下文中原本的位置,多粒度的学习蕴含在上下文之间的时序语义关系.最后,利用BERT特有的位置嵌入和深层注意力机制,提出了一种双向特征融合机制,将所有的局部信息进行融合,进一步优化模型进行回复选择的能力.在Ubuntu和E-commerce数据集上的实验结果表明,MSE-BERT模型的总体性能优于对比模型.