Spark表中的列约束

Question

我正在apache SPARK的CSV文件中创建一个表。是否可以创建一个非空约束或主键 - 外键约束的表？

Answer 1

无法在Spark表/ DataFrames上定义约束。虽然可以将StructFields定义为nullbale，但不会在运行时强制执行此属性。这样的约束在实践中没有用处有多种原因，但基本的原因是Spark SQL不是数据库。通常，它不会对数据源进行任何控制，只能在读取时验证数据，因此唯一可能的方法是访问失败。