首页 > 代码库 > 我对软件行业及大数据的理解

我对软件行业及大数据的理解

对软件行业的理解

可以用需求、架构、工具和算法四个词对软件行业做一个整体的概括。


需求是推动软件行业发展的源动力,需求的变化带来了架构、工具和算法的进步。


架构这个层面上,主要涉及的是一种解决问题的思想和策略,好的架构的诞生源于对需求和技术的深入了解,但与具体的技术实现联系不是太紧密。


工具是有需求带动的,工具的产生会受到架构的限制,不同的工具一般对某一领域更擅长。


算法的进步依赖于基础学科,是对具体问题的优化处理。


总之,无论是需求、架构、工具,还是算法,很少出现跳跃性的进步和创新,大多是在以前的基础上做改进。



对大数据的理解

大数据的HDFS(分布式文件系统)实际上就是在Linux文件系统之上安照其文件系统的原理又实现了一遍文件系统并且加入了网络相关内容的处理。这也是为什么理解、熟悉Linux文件系统的实现细节对大数据的学习很有帮助的原因。


如果不考虑每个节点主机的运算能力的话HDFS管理的就是一个磁盘阵列。加上并行运算技术以后各个节点主机的运算能力利用起来了就逐渐演变成了现在的Hadoop


从以上来看大数据没有多少新东西,最关键的还是机器学习部分这才是在大数据领域保持向上发展的决定部分

 By印臣

我对软件行业及大数据的理解