首页 > 代码库 > 大数据
大数据
很久没有来写博客了,忙于工作,已经不再公网上发总结很久了。
近些年来大数据很火,从云开始,云过后就是大数据,两者有一定的关系。
大数据在于数据量之大,关系复杂,有人总结为几条特性,这里不列举。
目前只是个开篇,开始继续这里的生涯。
大数据依赖于底层的分布式架构,运行计算的拆分。更加在于深度学习的升温, 机器学习、推荐技术在越来越多的互联网公司得到重视, 很多底层的数据工作跟这相关,最终变现的能力也很大层度依赖于模型,因此有商业利益的诱导,致使更多的企业注重大数据。
在数据层面我的理解如下:
数据工厂:存储大量的数据,主要包括日志行为。
数据关联:引入外部数据,将其与本公司的数据打通关联,发现更多价值。 (数据越多,越能充分利用数据规律,越能挖掘出更有价值的东西)
数据清洗:将数据整理成结构化的形式,或者抽取出更加清洁的能源形式。
数据利用:主要表现为在线使用,广告触发、推荐排序等。
当然,当下大数据的算法重镇-- 深度学习,也是一个桥头堡,兵家必争之地。 在海量数据时代,传统人工特征+机器学习的方式发展到瓶颈。深度学习更加侧重用无监督的发现价值。当然各家公司争相推广,甚至引出**大脑作为宣传,也是包装精美的推销客户大量投钱的利器。
大数据
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。