首页 > 代码库 > 大数据

大数据

很久没有来写博客了,忙于工作,已经不再公网上发总结很久了。

近些年来大数据很火,从云开始,云过后就是大数据,两者有一定的关系。

大数据在于数据量之大,关系复杂,有人总结为几条特性,这里不列举。

目前只是个开篇,开始继续这里的生涯。

大数据依赖于底层的分布式架构,运行计算的拆分。更加在于深度学习的升温, 机器学习、推荐技术在越来越多的互联网公司得到重视, 很多底层的数据工作跟这相关,最终变现的能力也很大层度依赖于模型,因此有商业利益的诱导,致使更多的企业注重大数据。

在数据层面我的理解如下:

数据工厂:存储大量的数据,主要包括日志行为。

数据关联:引入外部数据,将其与本公司的数据打通关联,发现更多价值。 (数据越多,越能充分利用数据规律,越能挖掘出更有价值的东西)

数据清洗:将数据整理成结构化的形式,或者抽取出更加清洁的能源形式。

数据利用:主要表现为在线使用,广告触发、推荐排序等。

当然,当下大数据的算法重镇-- 深度学习,也是一个桥头堡,兵家必争之地。 在海量数据时代,传统人工特征+机器学习的方式发展到瓶颈。深度学习更加侧重用无监督的发现价值。当然各家公司争相推广,甚至引出**大脑作为宣传,也是包装精美的推销客户大量投钱的利器。

大数据