为克服基于Hoek-Brown强度准则的屈服面数值奇异问题,提出新的棱角处屈服面圆化方法,在此基础上,借助ABAQUS二次开发平台,采用FORTRAN语言编制理想弹塑性模型子程序,应力更新算法为完全隐式的向后欧拉积分算法;提出基于Hoek-Brown准则的有限元强度折减技术,并将其嵌入到圆化后的屈服函数中,探讨了强度折减技术应用于Mohr-Coulomb强度准则和Hoek-Brown非线性强度准则的异同点。对某圆形隧洞的模拟分析表明,围岩应力和塑性区的数值计算结果和解析结果吻合很好;对某岩质边坡的模拟分析表明,与等效Mohr-Coulomb模型的线性强度折减技术相比,基于Hoek-Brown模型的非线性强度折减技术获得的潜在滑动面位置较浅、形状较陡,更符合岩质边坡滑动面的特征,两个算例验证了该圆化方法和非线性强度折减技术的正确性和适用性。