hdfs的读写流程 快来看看

发布日期:2025-04-19 09:08:13     手机:https://www.taoanxin.cn/mobile/shenghuo/show-29936.html    违规举报
核心提示:1、客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。 2、client端按128MB的块切分文件。client将NameNode返回的分配的可写的DataN

hdfs的读写流程 快来看看

1、客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。

2、client端按128MB的块切分文件。client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。

3、每个DataNode写完一个块后,会返回确认信息。

4、写完数据,关闭输输出流。发送完成信号给NameNode。

 
 
本文地址:https://taoanxin.cn/shenghuo/show-29936.html,转载请注明出处。
 
更多>同类生活健康

推荐图文
推荐生活健康
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  违规举报  |  蜀ICP备2022026999号-1  |  SiteMaps  |  BaiDuNews 微尚时代网站地图微尚时代百度地图圈圈荒野网站地图圈圈荒野百度地图
Processed in 0.116 second(s), 8 queries, Memory 0.52 M