遵照函数的一阶泰勒打开，正在负梯度宗旨，函数值是降低的。只消练习率修设的足够小，而且没有来到梯度为0的点处，每次迭代时函数值必然会降低。需求修设练习率为一个格外小的正数的因由是要保障迭代之后的xk+1位于迭代之前的值xk的邻域内，从而能够渺视泰勒打开中的高次项，保障迭代时函数值降低。

梯度降低法只可保障找到梯度为0的点，不行保障找到极小值点。迭代终止的决断凭据是梯度值充溢靠拢于0，或者到达最大指定迭代次数。

梯度降低法正在呆板练习中行使普通，更加是正在深度练习中。AdaDelta，AdaGrad，Adam，NAG等改革的梯度降低法都是用梯度构制更新项，区别正在于更新项的构制形式分别。对梯度降低法更统统的先容能够阅读SIGAI之前的大众号作品“分解梯度降低法”。

此中H为Hessian矩阵，g为梯度向量。牛顿法不行保障每次迭代时函数值降低，也不行保障收敛到极小值点。正在实行时，也需求修设练习率，因由和梯度降低法相仿，是为了也许渺视泰勒打开中的高阶项。练习率的修设经常采用直线探寻（line search）手艺。

牛顿法比梯度降低法有更疾的收敛速率，但每次迭代时需求企图Hessian矩阵，并求解一个线性方程组，运算量大。此外，倘使Hessian矩阵不成逆，则这种办法失效。

汽车测试网-创设于2008年，报道汽车测试手艺与产物、趋向、动态等 接洽邮箱 marketing#auto-testing.net (把#改成@)