http://www.cognoschina.net/club/thread-68835-1-1.html

http://www.cognoschina.net/club/thread-68837-1-1.html

大数据行业里的误区

　　大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫 “街词”，不跟风说两句“大数据长，大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲，大数据这个“圈”太乱了，一点不比“贵圈”好。

　　先从概念上来说，大数据是什么？其实数据处理从人类诞生时期就有了，古人结绳记事就是基本的统计，统计自己吃了几顿饭打了几次猎等等；再往近说，皇帝每晚翻 嫔妃的牌子也是数据处理，在翻牌子之前，要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标；更近的说，数据仓库早在大数据这个词出现前就已经 成熟发展了好几十年了。所以说，大数据并不新鲜，只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段，顺应这些技术炒出来的概念， 但是这些概念都基于一个基本的理念“开源”，这个理念是之前任何阶段都没有过，可以节省费用提高效率，所以大家才都往这个行业里扔火柴（话说现在很多人跟 风乱吵，个人认为也不是坏事）。


误区一：只有搞大数据技术开发的，才是真正“圈内人”。

　　笔者曾经参加过若干会议，70%是偏技术的，在场的都是国内各个数据相关项目经理和技术带头人，大家讨论的话题都是在升级CDH版本的时候有什么问题，在处 理Hive作业的时候哪种方式更好，在Storm、Kafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会者都一个态度：不懂大数 据技术的人没资格评论大数据，您要不懂Hadoop 2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka采集就别参加这个会！对了，最近Google完全抛弃MR只用Dataflow 了，您懂吗？不懂滚粗！

　　在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩 师用结绳记事完成了对于不同体型的人，用什么按摩手法进行全流程治疗，就不叫大数据分析了吗？技术发展到什么程度，只有一小部分是由科学家追求极致的精神 驱动，大部分原因是因为业务发展到一定程度，要求技术必须做出进步才能达成目标的。


所以，真正的大数据“圈内人”至少要包含以下几种人：

　　一、业务运营人员。 比如互联网的产品经理要求技术人员，必须在用户到达网站的时候就算出他今天的心情指数，而且要实现动态监测，这时候只能用Storm或者Spark来处理 了；比如电信运营商要求做到实时营销，用户进入营业厅的时候，必须马上推送短信给用户，提示他本营业厅有一个特别适合他的相亲对象（呈现身高、三围、体重 等指标），但是见面前要先购买4G手机；再比如病人来到银行开户，银行了解到用户最近1周曾经去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客 户经理就给客户推荐相关的银行保险+理财产品。这些业务人员，往往是驱动技术进步的核心原因。

　　二、架构师。架构师有多么重 要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里讨论问题的时候，工程师往往想着用什么样的代码能马上让他闭嘴，而架构师往往 会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的若干问题，按照我这个方案来，可以解决后续的若干问题！”一个非技术企业的IT系统 水平，往往有70%以上的标准掌握在架构设计人员手里，尽快很多优秀的架构师都是从工程师慢慢发展学习而来的，IT架构的重要性，很多企业都意识到了，这 就是很多企业有CTO和CIO两个职位，同样重要！架构之美，当IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼 中，IT开发一定要架构现行，开发在后！

　　三、投资人。老板，不用说了，老板给你吃穿，你给老板卖命，天生的基础资料提供者，老板说要有山便有了山，老板说要做实时数据处理分析，便有了Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark……

　　四、科学家。他 们是别人眼中的Geek，他们是别人眼中的高大上，他们是类似于霍金一样的神秘的早出晚归昼伏夜出的眼睛男女，他们是驱动世界技术进步的核心力量。除了世 界顶级的IT公司（往往世界技术方向掌握在他们手中），其他公司一般需要1-2个科学家足以，他们是真正投身于科学的人，不要让他们去考虑业务场景，不要 让他们去考虑业务流程，不要让他们去计算成本，不要让他们去考虑项目进度，他们唯一需要考虑的就是如何在某个指标上击败对手，在某个指标上提高0.1%已 经让他们可以连续奋战，不眠不休，让我们都为这些科学家喝彩和欢呼吧。在中国，我认为真正的大数据科学家不超过百人……

　　五、工程师。工 程师是这样一群可爱的人，他们年轻，冲动，有理想，又被人尊称为“屌丝”“键盘党”，他们孜孜不倦的为自己的理想而拼搏，每次自己取得一点点进步的时候， 都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感，自负，从来不屑于和业务人员去争论。工程师和科学家的不同点在于，工程师需要频繁改动代码，频繁 测试程序，频繁上线，但是最后的系统是由若干工程师的代码组合起来的。每个自负的工程师看到系统的历史代码都会鄙视的发出一声“哼，这垃圾代码”，之后便 投入到被后人继续鄙视的代码编写工作中去。

　　六、跟风者。他们中有些是培训师，有些是杀马特洗剪吹，有些是煤老板有些是失足 少女。他们的特点就是炒，和炒房者唯一不同的就是，他们不用付出金钱，他们认为只要和数据沾边就叫大数据，他们有些人甚至从来没碰过IT系统，他们是浑水 摸鱼、滥竽充数的高手，他们是被前几种人鄙视的隐形人。不过我想说，欢迎来炒，一个行业炒的越凶，真正有价值的人就更能发挥自己的作用。


误区二：只有大数据才能拯救世界

　　大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP（Online Analytical System）， 从技术角度来说，包含我总结的两条腿：一条腿是批量数据处理（包括MR、MPP等），另一条腿实时数据流处理（Storm、内存数据库等）。在此基础上， 部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框 架是，一方面以Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理，把按照业务逻辑处理完的数据直接送入到应用数据库中；另一方面以Storm流处理引擎处理实 时的数据，根据业务营销的规则触发相应的营销场景。同时，用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。

　　以上描述可以看出，大数据说白了就是还没有进入真正的交易系统，没有在OLTP（Online Transaction system）方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起，我认为大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组织架构都是重要因素。

　　最后还想说，大数据处理技术，再炫如Google的Dataflow或成熟如Hadoop 2.0、数据仓库、Storm等，本质上都是数据加工工具， 对于很多工程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务 应用而言的，一个炫词对于业务如果没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求，否则技术只会妨碍业务和生产力 的发展。

　　随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今天你可能是科学家，明天就会变成架构师，今天的工程师也会变成几年后的科学家，部分人还终将步入跟风者的行列。

误区三：数据量特别大才叫大数据

　　在 “数据界”存在这样有一波人，他们认为“只有Peta级以上的才叫大数据，甚至到了Zeta以上才叫大数据，目前还没有到真正的大数据时代！”，每次听到 这样的话，我就知道这些人受IOE某巨头的4V理论中的“容量”影响太巨大了。对此，我想说的第一句话是“尽信书不如无书，尽信巨头不如去IOE”，去 IOE不只是要从硬件做起，还要从思想上敢于挑战巨头做起，尽管很多IT界的经典理论都是传统巨头提出的，但是随着挑战者的出现，萌发了新的思想和技术 后，传统巨头会被慢慢颠覆，这也是我们人类前进向前的一个重要因素。如果我们还停留在迷信巨头的时代，如此刻板教条的去追求一个概念，那么就不会有现在的 Hadoop，不会有现在的Spark，不会有现在的特斯拉，不会有机器学习人工智能，更不会有未来的第N次工业革命。

　　首先我想强调，大 数据技术真的不是一个新鲜词，在之前的文章中我已经说过，大数据的本质还是数据，数据这个行业已经发展了若干年，而数据量的规模永远是超出该时代的想象 的，比如十几年前，一张软盘的数据量也就1.44M，当时的数据如果达到1T都让旁人咂舌。那么按数据量的标准，当时如果有人收集了1T数据就已经进入大 数据时代了吗？显然不是！所以我想说，数据量的大小并不是衡量大数据的标准，如果按数据量去判断是否大数据的话，那么“大数据”这个词真的是一个伪命题， 就如同“老虎比如是老的，小伙必须是小的，巨头必须是脑袋大的，飞人必须是长翅膀的”这种纯粹字面意思去定义的话题一样。

　　那么再回过来说，大数据的概念是什么？首先，大数据是一个完整的生态体系，从数据的产生、采集、加工、汇总、展现、挖掘、推送等方面形成了一个闭环的价值链，并且通过每个环节的多种技术处理后，为所在业务场景提供有价值的应用和服务。其次，大数据的核心是什么？一方面是开源，一方面是节流， 目前大数据技术的核心目标都是通过低成本的技术更好的满足对数据的需求（尤其是处理近年来更多的非结构化数据），并在在满足需求的基础上尽可能多的为企业 节省投资。说一千道一万，大数据的核心理念还是满足应用需求，有明确目标的技术叫生产力，没有业务目标的技术叫“浪费生命力”。


误区四：为了大数据而大数据

　　这个误区我认为是目前最严重的。在部分企业中，追求技术一定要最新、最好、最炫，一定要拿到国际先进、世界一流才行。所有的企业，不分行业不分性质不分地域 不分年代，一律高喊“赶超BAT，大数据助力**企业达到**目标”，接下来就是先去IOE，然后投资买集群，把之前的各种高性能小型机大型机都不用了， 之前买的O记授权全部停了，之前的几十年投资一夜之间作废，又投入了更多的资源去追赶“大数据”。

　　同学们，这种劳民伤财的事情相信大家每天都会听到或者亲眼看到，很多企业不计成本就是为了博领导一笑，这得是多么大的误区啊。对此我想说：

　　第一，从技术上来说，比如BAT或者很多互联网企业去追求大数据，是因为业务发展的需要。任何一个互联网企业一出生就是为了流量和点击而活着，这就意味这大 量的非结构化数据需要进行快速处理，这时候就决定了互联网企业只能通过一些并发手段去分解底层的数据，然后进行快速加工，并满足其服务用户和市场的需要。 互联网企业的业务流程和业务模型就决定了必须得采用大数据技术。反之，很多企业根本用不着这些技术，有些企业简单的一两个Excel文件里面做几个公式就 可以满足它的发展，而且数据的周期还是按月处理的，根本不需要运用这些技术。

　　第二，从投资上来说，互联网企业出生都是平民，根本买不起大 型设备，就算一夜暴富后，也没有一个传统的小型机大型机可以更好的满足它们的发展，故只能另辟蹊径创造价值链和标准了，在之前的低投资、轻量级架构上，不 断进行小量的线性硬件投资满足业务的发展。反倒是一些传统企业，甚至是巨无霸，其投资计划已经在一年前明确，而且在原来的基础上投资会更有ROI（投资回 报率），现在反倒为了追求大数据的口号，牺牲了之前的大量投资，除了“得不偿失”，剩下的只能是满地的节操了。

　　大数据技术甚至任何一种技 术都是为了满足特定的业务目标而生的，在具备了明确的业务目的后，顺势设计符合自身业务架构的技术架构，才是一种科学的健康的发展观。如果您是一位老板、 CEO或者投资人，千万要明白，大数据技术对于企业来说，有时候像水，而企业的业务目标就是那艘船，“水能载舟，亦能覆舟”。

　　随着生产关 系的不断调整，又会出现若干轮生产力的不断进步，大数据之后的技术也会日新月异的进步着，比如现在开始潮流涌现的“机器学习、深度学习”等诸多的人工智能 方面的技术，也出现了比如“小数据”、“微数据”等更细方向技术的细分，在技术的洪流到来时，只要保持清晰的以满足业务为导向的头脑，根据自身的业务需要 设计自身的技术架构，就不会被各种流派，各种概念淹没。