从pyspark登录雪花密码少

时间:2019-02-02 04:48:42

标签: python pyspark aws-glue snowflake-datawarehouse snowflake

我是雪花新手。我正在创建一个ETL作业,需要访问雪花数据库。

我正在尝试从两个地方连接雪花。一个来自使用shell脚本的ec2实例,另一个来自aws胶中的pyspark。 当我尝试从Shell脚本进行连接时,我将密码保留在配置文件中,而当我尝试从pyspark连接时,必须输入以下密码

sfOptions = {   “ sfURL”:“ xxx”,   “ sfAccount”:“ xxx”,   “ sfUser”:“ xxx”,   “ sfPassword”:'xxx',   “ sfDatabase”:'xxx',   “ sfSchema”:“ xxx” }

但是我不想提供这样的密码,因为它不安全。我希望从Shell脚本和pyspark进行无密码登录或密钥对身份验证登录。我确实在这里找到一个文档 precedence table

但是我不知道它是否可以在pyspark和shell脚本中工作。如果可行,则如何在上面显示的sfOption中传递密码。基本上,我不想在上述连接中使用“ sfPassword”:“ xxx”。

1 个答案:

答案 0 :(得分:0)