高效视频编码HEVC是最新的视频编码标准,比之前的如H.264/AVC有更高的压缩比,Merge模式是HEVC为了提高帧间编码效率新改进的技术之一。Merge过程是一个选择候选运动矢量的过程,需要大量复杂的计算和内存访问,导致Merge硬件实现效率低下。本文首先从算法上用2N×2N预测单元PU的Merge模式实现其他划分类型的PU　Merge模式,在性能损失不多的情况下,便于硬件实现。其次,设计硬件时,多层次采用流水线结构设计,提高了Merge硬件模块的吞吐量,在插值模块和SATD运算模块都重复高效地利用了16×8的最小缓存空间,提高了硬件资源利用率,降低了硬件开支。RTL代码实现并DC综合结果表明,与现有文献提出的架构相比,本文架构在资源利用上有较大的优势,逻辑门数为279k,主频可达到980MHz,每秒可以处理319帧分辨率为1920×1080的视频。