使用Cloudera Connector for Teradata和Sqoop的问题

Question

我们正在开发一个将蜂巢表移动到teradata的解决方案，我们正在使用 mapr-sqoop1.4.2 和 cloudera连接器用于teradata 1.0.5 。 Mapr版本是M5。 然而，由于一些桌子在15-20分钟内从Hadoop出口到Teradata而其他桌子需要3-4个小时，因此性能会有所波动。 没有。记录和所有表的文件大小相同，no。在teradata中用作主索引的列的唯一值。 （没有偏差）。

客户提出的问题是 cloudera connector 1.0.5 是否实际使用 FASTLOAD 。已转移的数据显示为 在DBQL表（Teradata）中插入语句，它似乎没有使用FASTLOAD。

那么如何确定导出实际上是使用FASTLOAD？

Answer 1

Cloudera连接器是“用于Hadoop的Teradata连接器”的包装器。尝试直接使用Teradata的连接器来比较性能：

http://developer.teradata.com/connectivity/articles/teradata-connector-for-hadoop-now-available

您的Teradata DBA应该能够告诉您Teradata的Viewpoint工具的历史记录，无论在导出过程中是否使用了FastLoad。