梯度下降和正规方程——土豆酱的个人笔记
开始
先准备梯度下降和正规方程分别需要的数据和目标
提示：梯度下降和正规方程都涉及到对 J ( θ ) J( heta) J(θ)的求偏导 有个错误❌ h θ ( x i ) h_{ heta}(x^i) hθ(xi)=那里的等号右边的上角标应该都是i而不是1
补充：一些涉及到的矩阵运算
1. 关于矩阵乘法
2. 关于矩阵转置
3. 关于矩阵的逆
3.1 逆矩阵的定义
3.2 求逆矩阵
提示：半花括号里面的 A b 1 A_{b_1} Ab1为什么是负的，这和行列式的计算方法有关系，此处是按列求行列式，所以中间的 A b 1 A_{b_1} Ab1就是负的啦
3.3 关于 ( A − 1 ) T = ( A T ) − 1 (A^{-1})^T=(A^T)^{-1} (A−1)T=(AT)−1
提示：原矩阵和矩阵的转置行列式相同
4. 关于矩阵求导
续正规方程
提示：紫色部分的推导参见前面“紫色”的⭐
续梯度下降
提示： 1 o 1^o 1o那里的箭头是指“续正规方程”部分求偏导的结果 2 o 2^o 2o那里虚线下面的部分是试图将 θ j heta_j θj的代数表示和 1 o 1^o 1o那里的矩阵表示联系起来
总结
上一篇：
通过多线程提高代码的执行效率例子
下一篇：
Java及大数据学习路线