• 本文目录导读：
• 1、Hadoop配置
• 2、守护进程logs

在Hadoop集群中，配置文件和守护进程的logs是非常重要的。这些文件和日志记录了Hadoop集群的详细信息，包括每个节点的状态、任务执行情况、错误报告等。因此，在学习Hadoop时，了解如何配置Hadoop并管理其日志是至关重要的。

Hadoop配置

在使用Hadoop之前，需要对其进行一些基本设置。这些设置包括：

1. 配置hdfs-site.xml：该文件定义了分布式文件系统（HDFS）的属性。其中最重要的属性是namenode节点和datanode节点所在位置。

2. 配置core-site.xml：该文件定义了与I/O有关的属性，例如默认fs以及NameNode地址等。

3. 配置mapred-site.xml：如果使用MapReduce，则需要为MapReduce作业调度器指定一个框架（LocalJobRunner或YARN）。

4. 配置yarn-site.xml：如果使用YARN，则需要进行一些额外设置来优化其性能并确保所有服务都正常运行。

以上四个配置文件都位于$ HADOOP_HOME / etc / hadoop目录下，并且可以通过编辑这些xml文件来更改其中某项参数值。当然也可以通过Ambari或者CDP Cloudera Manager进行修改操作。

守护进程logs

除了配置文件之外，Hadoop集群中的守护进程logs也非常重要。这些日志记录了每个节点上所有服务（例如NameNode、DataNode、ResourceManager、NodeManager等）的运行状态和错误报告。

以下是一些常见的Hadoop守护进程logs：

1. Namenode logs：namenode.log文件记录了NameNode服务的详细信息，包括启动时间、运行状态以及错误报告等。

2. Datanode logs：datanode.log文件记录了DataNode服务的详细信息，包括块传输速度、数据写入和读取速度以及错误报告等。

3. ResourceManager logs：resourcemanager.log文件记录了ResourceManager服务的详细信息，包括应用程序调度情况、容器分配情况以及错误报告等。

4. NodeManager logs：nodemanager.log文件记录了NodeManager服务的详细信息，包括容器启动和关闭情况以及错误报告等。

以上这些日志都位于各自对应节点下$ HADOOP_HOME / logs目录下。如果需要查看特定节点上某个守护进程的日志，请转到该节点并打开相应log文件进行查看。 但是，在大型Hadoop集群中手动查找问题不可取，并且需要使用其他工具来帮助管理日志数据，并提供快速诊断问题所需支持。 Cloudera Manager就是一个非常好用且强大得工具，可以帮助管理和监控整个Hadoop集群。

在学习Hadoop时，了解如何配置Hadoop并管理其日志非常重要。通过修改配置文件和监视日志文件，可以轻松诊断和解决问题，并确保Hadoop集群的稳定性和性能。同时，在大型集群中使用Cloudera Manager等工具是非常必要的。