本内容按照吴恩达公开课《Machine Learning》的 Lecture Slides 进行分类，每一个H1标题对应一个Lecture Slide，每一个H2标题对应Lecture Slide中的一个小章节。

本内容是课程的简化总结，适合已经了解机器学习基本概念的人进行回顾以及查漏补缺。

4 多元线性回归

4.1 多个自变量

在多元线性回归中有不止一个自变量：

在这里，可以认为有自变量

4.2 多元的梯度下降

同一元情况下的和，但是在这里有4个，分别对4个求偏导，然后根据偏导同时更新4个的参数值，直到损失函数收敛。

4.3 实操技巧1：特征归一化(Feature Scaling)

使用公式把每个连续特征归一化到 空间，可以提升模型效果。

4.4 实操技巧2：调整学习率

通过监控训练过程中损失函数的值，来调整学习率。如果太大，则可能不会收敛或者出现跳跃，如果太小，则收敛过慢。

4.5 多项式回归

某些自变量可能与因变量直接不是线性关系，可以考虑使用自变量的平方项或者立方项等当作x，例如：

4.6 标准方程

在均方误差损失函数下，通过二次方程求根公式，参数的解可以用标准方程得到：

例如，当有m个样本，n个特征时：的维度为，的维度为，最终输出维度为。

以下是梯度下降法和标准方程的对比：

梯度下降	标准方程
需要选择学习率	不需要选择学习率
需要迭代很多次	不需要迭代
特征维度很大时依然好用	需要计算，复杂度为
	当特征维度很大时，计算缓慢

4.7 标准方程中的不可逆

标准方程中的项是有可能不可逆的，出现不可逆的可能情况有：

• 特征冗余，当两个特征线性相关时
• 特征数量过多(m≤n)，此时可以删除一些特征，或者使用正则化。

*在Octave/Matlab中，使用pinv函数可以在矩阵不可逆时依然得到逆矩阵。