数据采集​​纱线特性的特殊性

时间:2018-05-18 13:45:16

标签: bash apache-spark google-cloud-platform gcloud google-cloud-dataproc

我找到了这个命令示例来创建数据中心群集并设置一些纱线属性。

gcloud dataproc clusters create cluster_name \
  --bucket="profiling-job-default" \
  --zone=europe-west1-c \
  --master-boot-disk-size=500GB \
  --worker-boot-disk-size=500GB \
  --master-machine-type=n1-standard-16 \
  --num-workers=10 \
  --worker-machine-type=n1-standard-16 \
  --initialization-actions gs://custom_init_gcp.sh \
  --metadata MINICONDA_VARIANT=2 \
  --properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

我注意到属性键值^--^之前的特定字符串yarn:yarn.scheduler.minimum-allocation-vcores=4

^--^是什么意思?这是--的一种逃避? 这记录在哪里?

1 个答案:

答案 0 :(得分:3)

这是列表和字典类型值escapinggcloud语法。

这意味着^之间指定的字符被视为列表和字典标志的值和键值分隔符。

相关问题