首页 > 代码库 > c#WEB转入大数据HADOOP平台的2014总结

c#WEB转入大数据HADOOP平台的2014总结

       浮浮沉沉的那是流水,起起落落的才是人生嘛。

       抽根烟先~~(各位同学都知道我不抽烟哈,这个,哈哈,思考人生的时候还是会抽根)刚刚和同学吃完饭从滨江路回来,我和他在一起一般都是谈谈自己的近况。我和他住得不远,上班离得很近,但是也不经常见面,但是需要对方的时候打个电话,总会在一个电话后及时出现在你的面前(搞得像基友一样,罪过,罪过)。这个是必须的,我和他也算一种前世修来的缘份吧,认识马上快10年了,大学同学中,我是他在这里的唯一,他也是我在这里的唯一,也许这辈子剩下的时间还得走下去,生活中的坎坷我们互相见证了(这TM怎么越写越像写的一封送不出去的情书呢?打住,太煽情了!!!)。2014年他没有到达自己的预期,认为自己loser。 每个人在年底多多少少都会给自己的过去一年打个分。我呢,也不例外,也想对自己过去的一年做个回顾。

当时计划2014年是学个驾照以及那什么的什么(自行补脑)。不过人生的计划永远赶不上变化。最终在2014年完成的是考过了驾照以及工作岗位调整。

说到驾照,我都感觉我是天才-~~(装个B不会被雷劈吧?)在2014的末尾以迅雷不及掩耳盗铃之势拿到了驾照。用了3个月时间 ,报了一个VIP,花了8K,全部一杆过,无补考。(牛叉撒?)以我的口头禅就是,这些都是渣渣~~。

而说起我的工作我能滔滔不绝的说个几天几夜~~

       去年过年前,领导层年终找各个员工谈话的时候,我当时就提出在WEB端走了4年,感觉自己的真的是没有什么前进的动力,觉得自己在WEB端所有的东西都掌握了,自以为很牛逼了(其实TM我只是一个不懂得HTTP协议,不懂SOCKET协议,不懂得操作系统原理,不懂数据库原理,不懂算法的一个水货码农,有多么的水,就有多水,真实水平菜鸟中的战斗机,不是谦虚),所以对领导说转入底层架构做数据挖掘或大数据平台维护与开发,当时领导给的话是让我在应用系统层带团队(其实我想他们当时考虑的从一个WEB转入底层,无论是从语言(开发语言),平台(操作系统)还是思想(编程思想)还是其它什么,说实话真的不是一个层次,因为公司需要花精力与金钱来陪养,这在任何一个公司都是不愿意的,除非你是一个毕业生)。所以谈完话之后,我当时的第一感觉是,难道我余下的青春只能在这种大街上随便都能找个代替你的职位上磨下去?跳糟吧,其实在WEB端,你无论是在重庆还是其它什么城市,它都是有个上限,有个坎的,虽然我有4年工作经验,开发无障碍(也就出了任何问题我都能解决),但是我跳出去,真心不一定能找到各方面能够达我要求的,所以我当时想的就是走一步看一步,边做边找吧,这就是人生的无奈啊!!!在2013把我累成一条狗后,我就想在2014放松自己,让自己在2014好好的做点其它事情。因此,定的计划就是学个驾照,买个车开开耍,找个妹子,谈谈人生,谈谈理想~~咳咳,我就喜欢谈人生与理想,不觉得很高大上么?但是在过完年后,意想不到的事情发生了,公司外面招聘的两个底层数据架构人员被外面的P2P平台高薪挖走(P2P平台要玩的同学小心啊,最近好多跑路的老板)。公司急了, 领导也急了,没人?钱多了公司请不起,钱少了别人不来。怎么办?嘿,我想应该是想到 我这个自以为很牛掰的小角色了,恩,该我登场了。有一天突然找到我谈话,说:“XXX啊,你是想去产品设计呢,还是去底层架构呢?”,哎呀,我的妈吧,机会啊,这种机会能放过嘛?肯定不能啊!我想都没有想,果断选去架构组,也想去玩玩大数据处理平台啊,有钱途~~打错了,有前途啊!!产品这玩意,在我们公司真心不是我这种人能玩得转的,不是说它有多么复杂 ,只是我觉得这个东西目前来说不适合我玩。以许过几年,干不动开发,我会向产品设计上靠。然后呢,去了,就去了,一切都是新的,一切都是从零开始,真正的从零开始,可是这个岗位的薪资居然就给我调成这个价??哎想想就TM的不爽,好吧,我承认我实力不济,我忍了,我一定要努力学习,让自己对起这个价,甚至要超过这个价。语言使用JAVA,其实吧,和C#一样基于虚拟机,但是语言的设计上比C#是差很多(不讨论语言之论,免得有人打我)。我呢狠狠心,花了一百多,买了一套基础书,叫什么玩意,忘了,真的太基础,我觉得有了C#基础,可以直接买JAVA中的圣经—《JAVA编程思想》。说到这本圣经书,哥哥就要经不住吐糟,自己当年的无知啊,这本圣经书,哥哥当年在上大学的时候就在看,当时没有任何开发经验,所以看起来很累,效果也不理想,因此后来从事NET开发以后,就把它送个一个同学了,当时还是SB的说:“你拿去吧,我永远也不会要它了,我永远也不会使用JAVA语言了。“这是多少青春年少而幼稚的话语。以为拥有了C#就拥有了全世界。可以想想没有前辈的指导是多么的可怕。操作是LINUX,哎,完全无经验,就是各种百度,百度。。。。百度这个垃圾,看到就想打死。GOOGLE这个玩意又被ZF(抱歉,我只能用拼音首字母代替,我怕跨省,所以谢绝一切跨省行为)屏蔽了,没办法啊,基本上把常用的一些LINUX命令用熟悉了,工作中基本无问题了,接下来又是学SHELL脚本,啊,这也是一个痛苦的过程啊,分析学习HADOOP,IMPALA,ZOOKEEPER等一大堆听没听过平台的安装使用,必须得懂这个脚本语言,不然,你自己知道它需要哪些目录,需要哪些环境变量呢?然后就是不停的安装使用,哎,这个过程,真TM不是一般人干的,可能是我比较笨吧,反正是太痛苦了,只有人简单给你说下,剩下你都得自己去搞,如果全部都让别人搞了,你还有存在的必要嘛?就像如何我们又调一个以前WEB端的同事来架构组(据说还要在外面招人~~我去,我觉得人手应该够了吧,有5个人了,各位哪个有3-5年以上JAVA服务开发经验?WEB层端就免了,来了也没多大用,外面招的人肯定是马上上手的,不会像我们这种内调的让你花时间去学的)。很多东西也是只是告诉他要做什么,至于如何做,让他自己百度去吧,哥哥也有一大堆东西要做呢!!!

我主要接手的任务是当时选定的一个IMPALA实时数据分析平台搭建作为WEB端日志存储与分析。我CA,这个东西毕竟还是很新(领导选了这个东西,其实也不熟悉),实际使用也很少,像我这种什么经验都没有人的更谈不上做好了,就在那一个人慢慢摸索,安装,测试,还得写JAVA  服务程序提供接串口,啊,那个过程啊,不过还好IMPALA平台8月还是准时上线了(所有配置都是官方的标配,10台物理机,128G内存,好爽),期间遇到的最大的一个坑爹的事情就是因为集群内部防火墙没有关闭,所以经常造成在更新元数据的时候通信中断,这个问题真是找了好久才找到的。所以给那些使用IMPALA的同学提个醒,当然,我不知道是否有什么秘密开关,如果有的话,也请告之。其实每天的数据量到不是很大,大概在220W左右,一年大概8亿条数据,相比于真正的大数据处理,这点数据就是渣渣。

       其实中间的心酸没有真不是这几行字能够表达的,对于2014取得成就,我还是比较满意的,人生职业规划是再花两年,不!!一年,一年时间再一次去提升自己,既然给了我这个机会,为什么不把握?2015年新的一年,前不久,我在公司也写了一个简单的计划,研究MHOUT算法框架,能够根据以有的历史数据进行基本用户个性推送,进一步研究学习impala平台 (貌似有被spark取代的趋势,不过取代也好,IMPALA是用C++写的,真心伤不起,想要调试太难了!!看起也难),研究学习HADOOP平台(至今还没有看过源代码呢),HBASE数据库研究学习与使用。那个flume可能也得看看,是否需要取代我们现有的日志记录流程。

       2015,日拱一卒,总能成长起来。生活中,也是想让自己更加的丰富,多找朋友耍耍,多出去走走,不要老宅在家。免得自己越来越孤寂。

       嗯,那谁谁结婚了,那谁谁又怀起了,那谁谁准备准备要结了,那些谁谁我就不点名了,NND的,就在我敲字的时刻,居然有人还丢红色炸弹过来~~伤不起啊!!!!!

c#WEB转入大数据HADOOP平台的2014总结