梯度下降和正规方程的比较

梯度下降 正规方程 需要选择学习率 𝛼 不需要 不需要多次迭代 一次运算得出 当特征数量 𝑛 大时也能较好适用 需要计算 (𝑋 𝑇 𝑋) −1 如果特征数量 𝑛 较大则 运算代价大,因为矩阵逆的计算时间复杂度 为 𝑂(𝑛 3 ) ,通常来说当 𝑛 小于 10000 时还是 可以接受的 适用于各种类型的模型 只适用于线性模型,不适合逻辑回归模型等 其他模型
         只要特征变量的数目并不大,标准方程是一个很好的计算参数𝜃的替代方法。 只要特征变量的数目并不大,标准方程是一个很好的计算参数𝜃的替代方法。
具体地说,只要特征变量数量小于一万,通常使用标准方程法(又称正规方程法),而不使用梯度下降法。 具体地说,只要特征变量数量小于一万,通常使用标准方程法(又称正规方程法),而不使用梯度下降法。
        对于分类算法,逻辑回归算法,梯度下降法是一个非常有用的算法,可以用在有大量特征变量的线性回归问题。因为标准方程法不适合或者不能用在它们上。 对于分类算法,逻辑回归算法,梯度下降法是一个非常有用的算法,可以用在有大量特征变量的线性回归问题。因为标准方程法不适合或者不能用在它们上。
        但对于特定的线性回归模型,标准方程法是一个比梯度下降法更快的替代算法。所以,根据具体的问题,以及特征变量的数量,来选择迭代方式。 但对于特定的线性回归模型,标准方程法是一个比梯度下降法更快的替代算法。所以,根据具体的问题,以及特征变量的数量,来选择迭代方式。
经验分享 程序员 微信小程序 职场和发展