如何使用BDM（Informatica）将文件从本地文件系统复制到hdfs文件系统？

Question

我正在使用Informatica版本10.2.1和BDM，我想将文件从本地文件系统复制并粘贴到HDFS文件系统。我对BDM陌生，不知道该怎么做。

当前，我已经创建了一个对象并填充了Read和Write参数。我同时将Input Type和Output Type用作command，并发出命令hdfs dfs -copyFromLocal -f /tmp/x.csv /tmp/x

非常感谢您的帮助。

编辑

粘贴错误图片。

Answer 1

Informatica中的

Command输入类型用于读取数据。像cat filename.txt一样，流出数据以供Informatica读取并进一步处理。 这并不是要执行 shell命令任务。为此，您应该在工作流程中使用Command task。

ETL工具从一个源读取数据，执行转换，然后写入另一个称为目标的位置。

您在此处尝试做的是完全不同的事情，与ETL无关。也许您可以使用一个简单的shell脚本？

如果您仍然想以适当的方式使用Informatica完成此操作，则需要定义源，定义目标并映射数据端口。如果有问题，请回来。

最后一点：您需要确保Integration Server可以访问源位置。似乎是您的本地文件，可能无法从远程服务器访问。

Answer 2

在BDM 10.2.1中，您可以使用典型的源来确定流量。对于您的方案，您可以将平面文件定义为源，将HDFS作为目标。 BDM是一种企业etl工具，可以与hadoop框架一起使用。除了将源文件指向平面文件连接之外，还需要为目标设置hdfs连接。 用于连接的图片

1 https://i.stack.imgur.com/5G0Jr.png

要映射的图像：