首页 > 代码库 > MapReduce(十六): 写数据到HDFS的源码分析
MapReduce(十六): 写数据到HDFS的源码分析
1) LineRecordWriter负责把Key,Value的形式把数据写入到DFSOutputStream
2) DFSOutputStream负责把LineRecordWriter写入的数据发送到Datanode中。对LineRecordWriter写入的数据首先按照一个个chunk分割,然后打包成Packet发送给datanode,datanode负责对接收的数据备份到其它datanode上。发送数据时,发送线程和结果接收线程分开,对发送队列的数据完成发送后,转移的结果接收队列中,等待datanode对数据保存,备份是否正确的应答,如果datanode保存失败,则对datanode,包括备份datanode的数据恢复到失败的前一刻,然后继续向datanode发送数据保存。
把LineRecordWriter中写入的数据先放到缓存中:
Buffer满了后,就把数据按照chunk封装到packet中,packet写满后就把packet放到发送队列中,等待发送线程发送给datanode
3) DataStreamer负责把队列中放入packet的数据发送到datanode上
4) ReponseProcessor负责对发送的packet数据接收datanode处理应答
5) Block传输写协议
MapReduce(十六): 写数据到HDFS的源码分析
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。