首页 > 代码库 > 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 3:Vectorization
深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 3:Vectorization
1 Vectorization 简述
Vectorization 翻译过来就是向量化,各简单的理解就是实现矩阵计算。
为什么MATLAB叫MATLAB?大概就是Matrix Lab,最根本的区别于其他通用语言的地方就是MATLAB可以用最直观的方式实现矩阵运算,MATLAB的变量都可以是矩阵。
通过Vectorization,我们可以将代码变得极其简洁,虽然简洁带来的问题就是其他人看你代码就需要研究一番了。但任何让事情变得simple的事情都是值得去做的。
关于Vectorization核心在于代码的实现,下面我们直接通过Linear Regression和Logistic Regression的练习来看看如何Vectorization。
2 Linear Regression的Vectorization
主要的不同点就是计算cost function和gradient的方法。
先看看一般的通过循环计算的方法:
function [f,g] = linear_regression(theta, X,y) % % Arguments: % theta - A vector containing the parameter values to optimize. % X - The examples stored in a matrix. % X(i,j) is the i‘th coordinate of the j‘th example. % y - The target value for each example. y(j) is the target for example j. % m=size(X,2); n=size(X,1); f=0; g=zeros(size(theta)); % % TODO: Compute the linear regression objective by looping over the examples in X. % Store the objective function value in ‘f‘. % % TODO: Compute the gradient of the objective with respect to theta by looping over % the examples in X and adding up the gradient for each example. Store the % computed gradient in ‘g‘. %%% YOUR CODE HERE %%% % Step 1 : Compute f cost function for i = 1:m f = f + (theta‘ * X(:,i) - y(i))^2; end f = 1/2*f; % Step 2: Compute gradient for j = 1:n for i = 1:m g(j) = g(j) + X(j,i)*(theta‘ * X(:,i) - y(i)); end end
再来看Vectorization的方法:
function [f,g] = linear_regression_vec(theta, X,y) % % Arguments: % theta - A vector containing the parameter values to optimize. % X - The examples stored in a matrix. % X(i,j) is the i‘th coordinate of the j‘th example. % y - The target value for each example. y(j) is the target for example j. % m=size(X,2); % initialize objective value and gradient. f = 0; g = zeros(size(theta)); % % TODO: Compute the linear regression objective function and gradient % using vectorized code. (It will be just a few lines of code!) % Store the objective function value in ‘f‘, and the gradient in ‘g‘. % %%% YOUR CODE HERE %%% f = 1/2*sum((theta‘*X - y).^2); g = X*(theta‘*X - y)‘;
可以看到,这里只需要一条语句就搞定了。
如何思考Vectorization?
我觉得最简单的方法就是看Vector的size。
比如f,我们最后要得到的是一个值,theta是nx1,X是nxm,y是1xm。我们需要theta和X相乘得到1xm好和y相减,那么肯定得把theta转置,theta‘xX 的size变化就1xnxnxm = 1xm,这就是我们想要的。
得到1xm之后,由于f的值,我们使用sum函数得到
对于gradient,也是一样的道理。g为nx1,而theta’xX-y为1xm,为了和X相乘,必须转置为mx1,从而nxmxmx1 = nx1.
方法就是这样。
下面直接贴出logistic_regression_vec.m
function [f,g] = logistic_regression_vec(theta, X,y) % % Arguments: % theta - A column vector containing the parameter values to optimize. % X - The examples stored in a matrix. % X(i,j) is the i‘th coordinate of the j‘th example. % y - The label for each example. y(j) is the j‘th example‘s label. % m=size(X,2); % initialize objective value and gradient. f = 0; g = zeros(size(theta)); % % TODO: Compute the logistic regression objective function and gradient % using vectorized code. (It will be just a few lines of code!) % Store the objective function value in ‘f‘, and the gradient in ‘g‘. % %%% YOUR CODE HERE %%% f = -sum(y.*log(sigmoid(theta‘*X)) + (1-y).*log(1 - sigmoid(theta‘*X))); g = X*(sigmoid(theta‘*X) - y)‘;
得到的结果一样,但速度变快很多
Optimization took 6.675841 seconds.
Training accuracy: 100.0%
Test accuracy: 100.0%
Training accuracy: 100.0%
Test accuracy: 100.0%
本节到此结束。
【说明:本文为原创文章,转载请注明出处 blog.csdn.net/songrotek 欢迎交流QQ:363523441】
深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 3:Vectorization
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。