首页 > 代码库 > 根据《Sparse deep belief net model for visual area V2》实现Sparse GRBM
根据《Sparse deep belief net model for visual area V2》实现Sparse GRBM
前一部分的求解用Hinton的CD算法即可，后一部分的求解即在前一部分的前提下，加入：
%%加入Sparse penalty
R.delta=mean(mean(h0,1)-R.sparseP).*mean(h0.*(1-h0),1);
R.deltaW=(v0‘*repmat(R.delta,minibatch_sz,1))./minibatch_sz;
%dW=dW+R.sparseLumda.*;
R.vbias = R.vbias + actual_lrate * (vbias_grad_old‘ - weight_decay * R.vbias);
R.hbias = R.hbias + actual_lrate * (hbias_grad_old‘ - weight_decay * R.hbias-R.sparseLumda.*R.delta‘);
R.W = R.W + actual_lrate * (W_grad_old - weight_decay * R.W-R.sparseLumda.*R.deltaW);
其中R.sparseP是期望的稀疏度即公式中的p，R.sparseLumda对应公式中λ。把公式中E[hj|v]理解为p(hj|v)即可，对应代码中h0。代码中R.delta实际求解的是稀疏化目标式
对hbias的偏导数，R.deltaW是该目标式对R.W的偏导数。
来自为知笔记(Wiz)
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。