Question

我有10个数据框，我想创建多个临时视图，以便可以使用pyspark中的createOrReplaceTempView命令对其执行sql操作

Answer 1

这可能就是您想要的。

source_tables = [
    'sql.production.dbo.table1',
    'sql.production.dbo.table2',
    'sql.production.dbo.table3',
    'sql.production.dbo.table4',
    'sql.production.dbo.table5',
    'sql.production.dbo.table6',
    'sql.production.dbo.table7',
    'sql.production.dbo.table8',
    'sql.production.dbo.table9',
    'sql.production.dbo.table10'    
]

for source_table in source_tables:
 
    try:
        view_name = source_table.replace('.', '_')
        # Lowercase all column names
        df = df.toDF(*[c.lower() for c in df.columns])
        df.createOrReplaceTempView(view_name)
    except Exception as e:
        print(e)

如何使用多个数据框在Spark中创建多个临时视图

1 个答案: