sqoop导出的hive orc表

时间:2017-02-22 02:32:57

标签: pyspark sqoop pyspark-sql

我有一个由pyspark dataframe_writer填充的orc格式的hive表。 我需要将此表导出到oracle。我在导出表时遇到问题,因为sqoop无法解析orc文件格式。

是否需要使用sqoop命令指定用于导出hive orc表的特殊注意事项或参数。

1 个答案:

答案 0 :(得分:0)

一个简单的Google查询指向blog post非常明确地标记了...

  

如何将Hive ORC表导出到Oracle数据库?

还有SO post标记为......

  

读取ORC文件并放入RDBMS?

所以看来你没有做任何研究。

顺便提一下,您是否考虑过使用Spark将数据直接通过JDBC发送到Oracle临时表中,而不进行中间ORC转储?