如何将Palantir Foundry与Amazon S3或HDFS集成

时间:2019-01-21 20:43:26

标签: apache-spark amazon-s3

使用Palantir Foundry平台的人吗?

我正在使用Palantir Foundry平台进行数据集成和分析。 我是Palantir软件的新手,所以需要一些帮助。是否有关于此主题的任何文档,白皮书,链接或教程?

2 个答案:

答案 0 :(得分:6)

要集成来自另一个平台的数据,您将需要源和数据连接中的同步。您需要具有平台权限才能创建这些权限,并非所有用户都可以,因为它可能涉及组织数据治理策略。

假定您没有针对S3进行有效配置的源。您需要创建一个。在“数据连接”上,单击“源”,然后单击“新源”。然后,您可以通过两种方式执行此操作:

  • 使用预构建的S3源:在新的File System下拉菜单中单击New Source,然后按照向导步骤操作
  • 使用自定义连接器,例如magritte-rest:在同一下拉列表中单击Custom

对于不满休息:

  • 根据您的喜好选择可用的代理之一,或选择“云提取”
  • 命名并保存到文件夹中。
  • 添加如下配置:
type: magritte-rest
url: 'https://foobar.organization.s3.amazonaws.com'

现在要创建同步,请使用与此类似的配置:

type: rest-source-adapter
method: GET
path: the/path/in/s3/yourdata
outputFileType: csv

还支持其他输出文件类型(jsonzip,...)

答案 1 :(得分:1)

Palantir通常会在客户公司的内部网上提供一个问答论坛,以帮助开发人员解决问题。

此外,他们还提供现场支持,并且在Foundry工作区主页上有一个名为“培训和学习”的部分,提供了示例和入门指南。

相关问题