使用EMRFS（s3存储桶）创建EMR 5.3.0作为存储

Question

我尝试使用EMRFS（S3存储桶）创建EMR 5.3.0作为存储。 请提供您的一般指导。

目前我正在使用以下命令创建EMR 5.3.0，InstanceType = m4.2xlarge.Which工作正常，但EMRFS作为存储我无法做到

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups
'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

请帮我解决这个问题。

Answer 1

启动群集时，您可以在配置中使用以下分类。

启用一致视图

{                                 “分类”：“emrfs-site”，                                 “属性”：{                                     “fs.s3.consistent”：“true”                                 }                             }

此外，如果您确实希望hive指向S3并在那里存储所有新文件，则必须将此分类添加到hive-site.xml

{                                 “分类”：“蜂巢网站”，                                 “属性”：{                                     “hive.metastore.warehouse.dir”：self.hive_warehouse_dir                                 }                             }