hadoop手册
前言
第 1 章 简介
第 2 章 HDFS
2.1 写文件
2.2 读文件
2.3 可靠性
2.4 可用性
2.5 命令工具
第 3 章 YARN
3.1 ResourceManager
3.2 NodeManager
3.3 ApplicationMaster
3.4 Container
3.5 失败处理
第 4 章 MapReduce
4.1 读数据
4.2 Map
4.3 Shuffle
4.4 Reduce
4.5 编程
第 5 章 IO
第 6 章 测试
第 7 章 安装
第 8 章 配置
第 9 章 监控
第 10 章 参考
hadoop手册
第 1 章 简介
上一篇:
前言
下一篇:
2.1 写文件
第 1 章 简介
Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点
特别适合写一次,读多次的场景
适合
大规模数据
流式数据(写一次,读多次)
商用硬件(一般硬件)
不适合
低延时的数据访问
大量的小文件
频繁修改文件(基本就是写1次)
Hadoop架构
HDFS:
分布式文件存储
YARN:
分布式资源管理
MapReduce:
分布式计算
Others:
利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构
上一篇:
前言
下一篇:
2.1 写文件