NG的课件1，引出常用的优化方法梯度下降法(gradient descent)

??

对于 ordinary least squares regression， cost function为

求最小值，意味着求导数为0的位置

??

考虑只有一个样本

??

这叫做LMS update rule (Least Mean Squares)

??

对应所有样本的训练集合

??

这种方法叫做batch gradient decent ，与之对应的在样本数目比如海量的情况下，为了计算快速，经常会每

扫描一个点就做一次update而不是扫描所有点后做一次update，对应称作stochastic gradient decent

??

在逻辑回归中:

对应按照MLE观点看，最大化概率

??

??

??

??

数值优化-梯度下降法