Question

我正在研究Hadoop，目前我正在尝试建立一个Hadoop 2.2.0单节点。我下载了最新的发行版，未压缩它，现在我正在尝试设置Hadoop分布式文件系统（HDFS）。

现在，我正在尝试遵循可用的Hadoop说明here，但我很遗憾。

在左侧栏中，您会看到对以下文件的引用：

core-default.xml
hdfs-default.xml
mapred-default.xml
纱default.xml中

但这些文件是怎样的？

我找到了/etc/hadoop/hdfs-site.xml，但它是空的！

我找到了/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml，但它只是一个文档！

那么，我需要修改哪些文件才能配置HDFS？从哪里读取deaults值？

提前感谢您的帮助。

Answer 1

这些文件都在hadoop / conf目录中找到。

要设置HDFS，您必须配置core-site.xml和hdfs-site.xml。

HDFS有两种工作模式：分布式（多节点集群）和伪分布式（一台机器集群）。

对于伪分布式模式，您必须配置：

在core-site.xml中：

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>

在hdfs-site.xml中：

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

每个属性都有其硬编码的默认值。

请记住在启动HDFS之前为hadoop用户设置ssh无密码登录。

P.S。

您从Apache下载Hadoop，您可以考虑切换到Hadoop发行版：

Cloudera's CDH，HortonWorks或MapR。

如果您安装Cloudera CDH或Hortonworks HDP，您将在/ etc / hadoop / conf /中找到文件。

Answer 2

安装Hadoop 2.2.0您可以关注this link。这是“0.23.9”，但对于“2.2.0”

它绝对正常

Answer 3

所有配置文件都将位于etc / hadoop /目录中提取的tar.gz文件中。 hdfs-site.xml可能是hdfs-site.xml.template。您需要将其重命名为hdfs-site.xml。

如果你想查看hdfs的哪些选项，请在share / doc / hadoop / hadoop-project-dist / hadoop-hdfs / hdfs-default.xml中的tarball中检查doc

Answer 4

对于Hortonworks位置

/etc/hadoop/conf/hdfs-site.xml

Answer 5

对于 hadoop 3.2，可以在以下位置找到默认配置：

本地安装

$HADOOP_HOME/share/doc/hadoop/
    hadoop-project-dist/
        hadoop-common/
            core-default.xml
        hadoop-hdfs/
            hdfs-default.xml

    hadoop-mapreduce-client/
        hadoop-mapreduce-client-core/
            mapred-default.xml

    hadoop-yarn/
        hadoop-yarn-common/
            yarn-default.xml

在线（在 http://hadoop.apache.org/docs/stable/，左下角的 Configuration 部分）：
有效配置，在本地实例的 Web 控制台中。
如果您没有更改配置，则显示默认配置。
例如
- 名称节点：http://localhost:9870/conf

Answer 6

这些文件可以在这里找到/usr/lib/hadoop-2.2.0/etc/hadoop，在那个位置你可以找到所有的XML。

Hadoop 2.2.0中HDFS的配置文件在哪里？

6 个答案: