Gradient Descent in Practice - Feature Scaling

Make sure features are on a similar scale.

Features 的范围越小，总的可能性就越小，计算速度就能加快。

 Dividing by the range

通过 feature/range 使每个 feature 大概在 [-1, 1] 的范围内

 下题是一个例子：

Mean normalization

将值变为接近 0。除了 x₀，因为 x₀ 的值为 1。

mu1 是 average value of x₁ in trainning sets;

S₁ 是 x₁ 的范围大小，比如卧室是 [0, 5]，那么范围为 5 - 0 = 5。

确保 gradient descent 工作正确

如上图，这个图像是正确的，随着循环次数的增加，J(θ) 主键减小。超过一定循环次数之后，J(θ) 曲线趋于平缓。可以根据图像得出什么时候停止，或者当每次循环，J(θ) 的变化小于 ε 时停止。

图像上升

说明 α 取值大了，应该减小。真实的图像可能如下：

如果 α 足够小，那么能缓慢但完全覆盖。

如果 α 太大：在每次循环时，可能不会减少从而不能完全覆盖。

Features and polynomial regression

可以使用自定义的 features 而不是完全照搬已存在的 features。比如房子有长宽两个属性，我们可以创建一个新属性--面积。然后，表达式变成

，但是这个曲线是先减小后增大的，与实际数据不符（面积越大，总价越高）。所以调整为

。

Normal equation

Gradient Descent 随着循环次数增加，逐步逼近最小值。如图：

Normal equation 是通过方法直接计算出 θ。

导数为 0 时最小

然后解出 θ₀ 到 θ_n

求解 θ 的方程

Matrix 概念见 Machine Learning - week 1

什么时候用 Gradient Descent 或者 Normal Equation

当 n 较大时，右边的会很慢，因为计算  是 O(n³)

当 n 小的时候，右边会更快，因为它是直接得出结果，不需要 iterations 或者 feature scaling。

如果  是 non-invertible？

1. Redundant features (are not linearly independent).

E.g. x₁ = size in feet²; x₂ = size in m²

2. Too many features(e.g. m <= n)

比如 m = 10, n = 100，意思是你只有 10 个数据，但有 100 个 features，显然，数据不足以覆盖所有的 features。

可以删除一些 features（只保留与数据相关的 features）或者使用 regularization。

习题

1. 

不知道如何同时使用两种方法，这两种方法是否是顺序相关的？

使用 Dividing by the range

range = max - min = 8836 - 4761 = 4075

vector / range 后变为 

1.9438
1.2721
2.1683
1.1683

对上述使用 mean normalization

avg = 1.6382

range =  2.1683 - 1.1683 = 1

x2(4) = (1.1683 - 1.6382) / 1 = -0.46990 保留两位小数为 -0.47

5. 

上面提到了“Features 的范围越小，总的可能性就越小，计算速度就能加快。”（多选题也可以单选）

Machine Learning - week 2 - Multivariate Linear Regression