无法导入模块“ lambda_function”：没有名为“ pyspark”的模块

Question

我正在尝试使用AWS Lambda函数运行PySpark作业代码。在这里我得到以下错误： 无法导入模块“ lambda_function”：没有名为“ pyspark”的模块

我的PySpark作业的进口量低于进口量。因此，如何将以下库导入到Lambda函数中。如何在Lambda函数中安装这些文件？

from pyspark.sql import SparkSession
from pyspark.sql import functions as F, Column as col
from pyspark.sql.functions import when, coalesce
from pyspark.sql.functions import lit

谢谢。

Answer 1

您必须检查以下链接，并且有相同的错误

aws lambda Unable to import module 'lambda_function': No module named 'requests'

https://www.edureka.co/community/20807/lambda-unable-import-module-handler-module-named-builtins

https://www.edureka.co/community/20359/how-to-import-numpy-and-pandas-inside-aws-lambda-function

Answer 2

您需要将所有AWS Lambda依赖项以及代码打包到部署zip文件中。

https://docs.aws.amazon.com/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html

Answer 3

当您遇到此错误时，您必须了解三件事

  

无法导入模块“ lambda_function”

1. 文件权限
2. 处理程序格式为python_filename.lambda_handler
3. 压缩文件时，必须提供zip -r name.zip的选项。 （仅当我们在zip文件末尾加点（。）时才添加隐藏文件）