编程及软件开发解决方案库

2000万优秀解决方案库,覆盖所有编程及软件开发类,极速查询

今日已更新 2085 篇代码解决方案

  • 1:Apache Spark源码走读之12 -- Hive on Spark运行环境搭建

                        欢迎转载,转载请注明出处,徽沪一郎。 楔子Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduc

    https://www.u72.net/daima/h93k.html - 2024-07-06 10:59:57 - 代码库
  • 2:Apache Spark源码走读之2 -- Job的提交与运行

                        转自 http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境

    https://www.u72.net/daima/nc69a.html - 2024-08-08 15:53:58 - 代码库
  • 3:(四)storm-kafka源码走读之自定义Scheme

                        本文原创,转载请注明出处:使用KafkaSpout需要子类实现Scheme,storm-kafka实现了StringScheme,KeyValueStringScheme等等,大家可以用。这些Scheme主要负责从

    https://www.u72.net/daima/nn4ff.html - 2024-08-01 00:48:56 - 代码库
  • 4:Apache Spark源码走读之5 -- DStream处理的容错性分析

                        欢迎转载,转载请注明出处,徽沪一郎,谢谢。在流数据的处理过程中,为了保证处理结果的可信度(不能多算,也不能漏算),需要做到对所有的输入数据有且仅有一次处理

    https://www.u72.net/daima/un8.html - 2024-07-02 15:13:14 - 代码库
  • 5:JAVA源码走读(二)二分查找与Arrays类(未完)

                        给数组赋值:通过fill方法。对数组排序:通过sort方法,按升序。比较数组:通过equals方法比较数组中元素值是否相等。查找数组元素:通过binarySearch方法能

    https://www.u72.net/daima/hhc5.html - 2024-08-13 04:29:33 - 代码库
  • 6:Apache Spark源码走读之6 -- 存储子系统分析

                        欢迎转载,转载请注明出处,徽沪一郎。楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储

    https://www.u72.net/daima/ndba.html - 2024-07-03 14:03:44 - 代码库
  • 7:Apache Spark源码走读之4 -- DStream实时流数据处理

                        欢迎转载,转载请注明出处,徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型,该模型使得Spark

    https://www.u72.net/daima/fxvw.html - 2024-07-10 03:36:31 - 代码库
  • 8:Apache Spark源码走读之5 -- DStream处理的容错性分析

                        欢迎转载,转载请注明出处,徽沪一郎,谢谢。在流数据的处理过程中,为了保证处理结果的可信度(不能多算,也不能漏算),需要做到对所有的输入数据有且仅有一次处理

    https://www.u72.net/daima/fxw1.html - 2024-07-10 03:38:31 - 代码库
  • 9:Apache Spark源码走读之6 -- 存储子系统分析

                        楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读

    https://www.u72.net/daima/fxxb.html - 2024-07-10 03:39:40 - 代码库
  • 10:Apache Spark源码走读之18 -- 使用Intellij idea调试Spark源码

                        欢迎转载,转载请注明出处,徽沪一郎。概要上篇博文讲述了如何通过修改源码来查看调用堆栈,尽管也很实用,但每修改一次都需要编译,花费的时间不少,效率不高,而且

    https://www.u72.net/daima/r8hk.html - 2024-07-12 12:23:16 - 代码库
  • 11:开源ext2read代码走读之--“\\\\.\\PhysicalDrive0”意义?

                        在ext2read中读取ext4文件系统的代码中,读取硬盘中的信息时,定义了以下的宏,那么这个宏是什么意思呢?#define DEVICE    "\\\\.\\PhysicalDrive0"是什么意

    https://www.u72.net/daima/15nc.html - 2024-07-19 10:58:01 - 代码库
  • 12:前馈神经网络-反向传播(Back Propagation)公式推导走读

                          构造:输入神经元个数等于输入向量维度,输出神经元个数等于输出向量维度。(x1=(1,2,3),则需要三个输入神经元) 一 前向后传播 隐层:输出层: 一般

    https://www.u72.net/daima/ecv0.html - 2024-09-15 00:52:57 - 代码库
  • 13:(三)storm-kafka源码走读之如何构建一个KafkaSpout

                        上一节介绍了config的相关信息,这一节说下,这些参数分别是什么,在zookeeper中的存放路径是怎样的,之前QQ群里有很多不知道该怎么传入正确的参数来new 一个k

    https://www.u72.net/daima/nn4fs.html - 2024-08-01 00:49:06 - 代码库
  • 14:Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析

                        欢迎转载,转载请注明出处,徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析,主要回答standalone部署方式下的包含哪些主要节点,当某

    https://www.u72.net/daima/bnc7.html - 2024-07-08 15:22:33 - 代码库
  • 15:Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

                        欢迎转载,转载请注明出处,徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪

    https://www.u72.net/daima/fx03.html - 2024-07-10 03:43:09 - 代码库
  • 16:Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析

                        欢迎转载,转载请注明出处,徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析,主要回答standalone部署方式下的包含哪些主要节点,当某

    https://www.u72.net/daima/fx07.html - 2024-07-10 03:43:24 - 代码库
  • 17:Apache Spark源码走读之20 -- ShuffleMapTask计算结果的保存与读取

                        欢迎转载,转载请注明出处,徽沪一郎。概要ShuffleMapTask的计算结果保存在哪,随后Stage中的task又是如何知道从哪里去读取的呢,这个过程一直让我困惑不已。

    https://www.u72.net/daima/uzn5.html - 2024-07-13 18:54:57 - 代码库
  • 18:Apache Spark源码走读之21 -- 浅谈mllib中线性回归的算法实现

                        欢迎转载,转载请注明出处,徽沪一郎。概要本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对

    https://www.u72.net/daima/0hme.html - 2024-07-17 20:24:42 - 代码库
  • 19:开源ext2read代码走读之-如何读取MBR分区的内容

                        主引导记录(Master Boot Record,缩写:MBR),又叫做主引导扇区,是计算机开机后访问硬盘时所必须要读取的首个扇区,它在硬盘上的三维地址为(柱面,磁头,扇区)=(0,0,1)。在深

    https://www.u72.net/daima/2n7n.html - 2024-07-19 19:30:53 - 代码库
  • 20:Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

                        概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回

    https://www.u72.net/daima/nc69h.html - 2024-08-08 15:55:10 - 代码库