首页 > 代码库 > 【论文阅读-CTR】<<Deep Learning over Multi-filed Categorical Data -A Case Study On User Response Prediction>>阅读

【论文阅读-CTR】<<Deep Learning over Multi-filed Categorical Data -A Case Study On User Response Prediction>>阅读

摘要:

用户反馈预估是搜素、推荐、广告的核心问题;其特征都是多域的分类和数值特征,难以利用;

常用的方法是线性模型+人工特征组合来预估;

本文通过FNN(基于FM)和SNN(基于RBM和DAE)来预估。

1、介绍

常用的ctr预估模型:

1)线性模型:LR->NB->FTRLLR->Bayesian probit regression

    优点:容易实现;高效学习

    缺点:不能学习特征组合,效果较差

2)非线性模型:FM,GBM

    优点:自动学习组合特征

    缺点:不能充分利用各种特征组合

很多模型需要人工特征,浅层模型,表达能力不强;对大量复杂数据的建模和泛化能力有限。

DNN在计算机视觉,语音识别,自然语言处理上有优势;

比如通过非监督的预训练,可以获取原始特征的高维表示,这种思路可以用在ctr上:

通过FM、RBM、DAE把分类特征表示成连续特征。

2、相关工作

部分DNN的策略,预训练+fine tune。

3、DNN for CTR

1)FM+FCNN,3hidden layers,第一二层使用tanh激活,第三层使用sigmoid激活

第一层使用FM预训练,预训练的结构和fine tune使用的结构不同,也不会出问题,原因:有识别能力信息的高度模糊,后验权重和先验差别会太大。

2)SNN:

RBM base使用DC训练,DAE使用sgd训练

3)正则化:

L2正则

4、实验

1)策略对比:FNN整体优于SNN,RBMbase SNN和DAE base SNN接近;

2)increase,decrease 差于constant; diamond架构优于所有架构

3)正则:dropout正则相当于bagging,优于L2;

FNN dropout obust;SNN dropout敏感;预计是FNN第一层部分连接,丢弃部分影响不大

 

【论文阅读-CTR】<<Deep Learning over Multi-filed Categorical Data -A Case Study On User Response Prediction>>阅读