一般如果正常启动hadoop,我们可以在master上通过jps命令看到以下5个daemons:
[root@master ~]# jps
19803 SecondaryNameNode
19994 TaskTracker
31144 Jps
19571 NameNode
19672
DataNode19887
JobTracker
下面依次介绍这些进程:
1. NameNode
它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。
参考资料:
http://www.linuxidc.com/Linux/2012-01/51614.htm
2. SecondaryNameNode
它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务。
出于对可扩展性和容错性等考虑,我们一般将SecondaryNameNode运行在一台非NameNode的机器上。
参考资料:
http://www.linuxidc.com/Linux/2012-01/51628.htm
http://www.linuxidc.com/Linux/2012-01/51622.htm
3. DataNode
它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程。
4. JobTracker和TaskTracker
JobTracker负责调度 DataNode上的工作。每个 DataNode有一个TaskTracker,它们执行实际工作。
JobTracker和 TaskTracker采用主-从形式,JobTracker跨DataNode分发工作,而 TaskTracker执行任务。
JobTracker还检查请求的工作,如果一个 DataNode由于某种原因失败,JobTracker会重新调度以前的任务。
分享到:
相关推荐
下⾯就具体说说这些命令: start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停⽌所有的Hadoop守护进程。包括NameNode、 Secondary ...
完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程,具有hadoop完整的功能,可以使用HDFS、MapReduce和Yarn,并且这些守护进程运行在集群中,可以真正的利用集群提供高性能,在生产环境下使用。 ...
部署Hadoop3.0高性能集群,Hadoop完全分布式模式: Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同 节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。 在Hadoop环境中,所有...
4.1.2 Hadoop守护进程环境配置;4.1.3 Hadoop配置参数格式;4.1.3 Hadoop配置参数格式;4.1.4 获得Hadoop集群全部配置信息;4.2 在Master节点上安装Hadoop;(1)解压缩hadoop-2.7.1.tar.gz安装包到/usr目录下 [root@...
018 Hadoop 守护进程服务三种启动停止方式 019 测试环境(HDFS Shell基本命令和运行WordCount程序) 020 结合WordCount实例讲解Hadoop的数据存储和数据计算 021 Hadoop 五大服务与配置文件中的对应关系 022 分析Hadoop...
Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准测试程序 用户的作业 云上的Hadoop...
start-all.sh : 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh : 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、...
Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准测试程序 用户的作业 云上的Hadoop Amazon EC2上的Hadoop ...
必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置 作为一个安全通信协议,使用时需要密码,因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装 安装hadoop...
1. 启 动 全 分 布 模 式 Hadoop 集 群 , 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 在 Hadoop 集群主节点上搭建 MapReduce 开发环境 ...
在Master上运行的是JobTracker守护进程,而在Slave上运行的是TaskTracker守护进程。对于一个作业,首先提交给JobTracker,再由JobTracker对提交的作业进行处理。
重点研究 HDFS、MapReduce、HBase和Hive系统的核心算法和实现原理,分析它们运行的守护进程各自的职责和相互间协同工作模式,作为项目设计的理论基础。 4.深入研究项目所使用的技术。重点分析自动化配置和部署工具...
ssh必须安装并且保证sshd一直运行,以便用Hadoop脚本管理远端Hadoop守护进程。操作系统:Ubuntu部署:Vmvare在vmvare安装好一台Ubuntu虚拟机后,可以导出或者克隆出另外两台虚拟机。说明:保证虚拟机的ip和主机的ip...
守护进程Unix / Linux守护程序和Windows服务的模板集合。 您可以基于这些模板构建更复杂的守护程序和Windows服务。为什么选择守护进程? Linux / Unix守护程序和Windows服务很重要。 它们作为长时间运行的进程驻留在...
第二个容器映像hadoop-dn从 hadoop-base 扩展并安装从属特定的 hadoop 配置,它还安装了 daemontools 来运行 sshd 、 serf 和 dnsmasq 所以当我们以守护进程模式启动 docker 容器时,它会继续运行而不是在之后立即...
1. 启 动 全 分 布 模 式 Hadoop 集 群 , 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统...
每个存储数据的节点运行一个 datanode 守护进程。 4.ResourceManager(JobTracker) JobTracker 负责调度 DataNode 上的工作。每个 DataNode 有一个 TaskTracker,它们执行实际工作。5.NodeManager(TaskTracker)...
-Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。 -在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的...
每个工作节 点都运行了一个名为“Supervisor”的守护进程,用于监听工作,开始并终止工作进程。Nimbus和Supervisor都能快速失败,而且是无 状态的,这样一来它们就变得十分健壮,两者的协调工作是由ApacheZooKeeper...