我是雪花新手。我正在创建一个ETL作业,需要访问雪花数据库。
我正在尝试从两个地方连接雪花。一个来自使用shell脚本的ec2实例,另一个来自aws胶中的pyspark。 当我尝试从Shell脚本进行连接时,我将密码保留在配置文件中,而当我尝试从pyspark连接时,必须输入以下密码
sfOptions = { “ sfURL”:“ xxx”, “ sfAccount”:“ xxx”, “ sfUser”:“ xxx”, “ sfPassword”:'xxx', “ sfDatabase”:'xxx', “ sfSchema”:“ xxx” }
但是我不想提供这样的密码,因为它不安全。我希望从Shell脚本和pyspark进行无密码登录或密钥对身份验证登录。我确实在这里找到一个文档 precedence table
但是我不知道它是否可以在pyspark和shell脚本中工作。如果可行,则如何在上面显示的sfOption中传递密码。基本上,我不想在上述连接中使用“ sfPassword”:“ xxx”。
答案 0 :(得分:0)
为什么不在SSM存储密码存储凭据和使用胶水?读 https://medium.com/nordcloud-engineering/ssm-parameter-store-for-keeping-secrets-in-a-structured-way-53a25d48166a用于ssm