Question

将我的Azure Databricks从标准升级到主要，尝试开始使用Databricks Delta：

create table t
using delta
as select * from test_db.src_data;

您的帐户未启用Databricks Delta。请联系您的客户经理谈谈使用Delta；

我是客户经理，但找不到此设置。在哪里？

Answer 1

好的Chilax Buddy，我们知道了！！：）

在def jsonstring = '{"Location": "abc","Codes": [ { "high": "xyz", "low": "aaa" } ] }"' log.info jsonstring def slurper = new groovy.json.JsonSlurper() def jsonRes = slurper.parseText(jsonstring) def LocationJson = jsonRes.Location log.info ("location is " +LocationJson) // this will loop through all Codes element... for (def codeElement : jsonRes.Codes) { log.info ("high is " + codeElement.high) log.info ("low is " + codeElement.low) }和from Crypto.Cipher import AES import base64 msg_text = b'test some plain text here'.rjust(32) secret_key = b'1234567890123456' # create new & store somewhere safe cipher = AES.new(secret_key,AES.MODE_ECB) # never use ECB in strong systems obviously encoded = base64.b64encode(cipher.encrypt(msg_text)) print(encoded) # ... decoded = cipher.decrypt(base64.b64decode(encoded)) print(decoded.strip())笔记本中使用Spark SQL上下文：

ipynb

scala

在sql("SET spark.databricks.delta.preview.enabled=true")中：

sql("SET spark.databricks.delta.merge.joinBasedMerge.enabled = true")

SQL dbc notebooks

想要SET spark.databricks.delta.preview.enabled=true时，同时在SET spark.databricks.delta.merge.joinBasedMerge.enabled的{{1}}的UI上旋转群集

仅此行：default the cluster to support Delta

或最后一个也是最后一个有趣的部分。当您旋转群集last column时，我们应该默认为这些家伙启用Delta。

最后欢迎来到Databricks Delta：）

此外，为了帮助您在此处找到代码，它应该看起来像这样

parameters for Environment variables

好的，我很确定您的路径将是spark.databricks.delta.preview.enabled=true，因为您是Select 5.0 or above的家伙。确保正确使用模式，因为即使删除表，数据仍将驻留在DDL中定义的路径中。因此，如果重新运行，它将推断出过去的架构。在这种情况下，您可能想使用%sql create table t as select * from test_db.src_data USING DELTA PARTITIONED BY (YourPartitionColumnHere) LOCATION "/mnt/data/path/to/the/location/where/you/want/these/parquetFiles/to/be/present"放下文件或使用Visual格式，如果您知道要使用/mnt/data做些什么，则可以放下它们。相信我，您以后需要它。

如果您想在AZURE databricks上%fs ls /mnt/data/blah/blah/blah处于4.0的群集%fs rm -r /mnt/data/that/blah/path/here上enabling Delta，则取决于您的可用性。

事实上，请删除DDL中的所有半列，我们在这里不需要它。如果您不立即部署，它将使您感到困惑。

非常欢迎您的伙伴。

如何启用Databricks Delta功能

1 个答案: