Question

在我的GCE Kubernetes群集中，我无法再创建pod。

Warning FailedScheduling    pod (www.caveconditions.com-f1be467e31c7b00bc983fbe5efdbb8eb-438ef) failed to fit in any node
fit failure on node (gke-prod-cluster-default-pool-b39c7f0c-c0ug): Insufficient CPU

查看该节点的已分配统计信息

Non-terminated Pods:        (8 in total)
  Namespace         Name                                        CPU Requests    CPU Limits  Memory Requests Memory Limits
  ---------         ----                                        ------------    ----------  --------------- -------------
  default           dev.caveconditions.com-n80z8                            100m (10%)  0 (0%)      0 (0%)      0 (0%)
  default           lamp-cnmrc                                  100m (10%)  0 (0%)      0 (0%)      0 (0%)
  default           mongo-2-h59ly                                   200m (20%)  0 (0%)      0 (0%)      0 (0%)
  default           www.caveconditions.com-tl7pa                            100m (10%)  0 (0%)      0 (0%)      0 (0%)
  kube-system           fluentd-cloud-logging-gke-prod-cluster-default-pool-b39c7f0c-c0ug       100m (10%)  0 (0%)      200Mi (5%)  200Mi (5%)
  kube-system           kube-dns-v17-qp5la                              110m (11%)  110m (11%)  120Mi (3%)  220Mi (5%)
  kube-system           kube-proxy-gke-prod-cluster-default-pool-b39c7f0c-c0ug              100m (10%)  0 (0%)      0 (0%)      0 (0%)
  kube-system           kubernetes-dashboard-v1.1.0-orphh                       100m (10%)  100m (10%)  50Mi (1%)   50Mi (1%)
Allocated resources:
  (Total limits may be over 100%, i.e., overcommitted. More info: http://releases.k8s.io/HEAD/docs/user-guide/compute-resources.md)
  CPU Requests  CPU Limits  Memory Requests Memory Limits
  ------------  ----------  --------------- -------------
  910m (91%)    210m (21%)  370Mi (9%)  470Mi (12%)

当然，我有91％的分配，不能再适应10％。但是不可能过度提交资源吗？

服务器的使用率约为10％CPU平均值

如果我不能使用更多的资源，那将是一种耻辱。

Answer 1

是的，目前不支持过度使用。它是计划中的改进http://kubernetes.io/docs/user-guide/compute-resources。关于github的相关问题：https://github.com/kubernetes/kubernetes/issues/168

ps：理论上你可以定义自定义节点容量，但我不确定。

Answer 2

我最近遇到了同样的问题，经过一些研究，我发现GKE的默认LimitRange的CPU请求限制设置为100m，可以通过运行kubectl get limitrange -o=yaml进行检查。它将显示如下内容：

apiVersion: v1
items:
- apiVersion: v1
  kind: LimitRange
  metadata:
    annotations:
      kubectl.kubernetes.io/last-applied-configuration: |
        {"apiVersion":"v1","kind":"LimitRange","metadata":{"annotations":{},"name":"limits","namespace":"default"},"spec":{"limits":[{"defaultRequest":{"cpu":"100m"},"type":"Container"}]}}
    creationTimestamp: 2017-11-16T12:15:40Z
    name: limits
    namespace: default
    resourceVersion: "18741722"
    selfLink: /api/v1/namespaces/default/limitranges/limits
    uid: dcb25a24-cac7-11e7-a3d5-42010a8001b6
  spec:
    limits:
    - defaultRequest:
        cpu: 100m
      type: Container
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""

此限制适用于每个容器。因此，例如，如果您有一个4核节点，并假设要为您的2个容器中的每个POD创建一个容器，那么它将仅允许创建约20个容器。

此处的“解决方案”是更改默认的LimitRange来设置您自己的限制，然后删除旧的Pod，以便使用更新后的值重新创建它们，或者在创建它们时直接设置Pod的限制。

一些阅读材料：

https://kubernetes.io/docs/tasks/configure-pod-container/assign-cpu-resource/#specify-a-cpu-request-and-a-cpu-limit

https://kubernetes.io/docs/tasks/administer-cluster/manage-resources/cpu-default-namespace/#create-a-limitrange-and-a-pod

https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#how-pods-with-resource-limits-are-run

https://cloud.google.com/blog/products/gcp/kubernetes-best-practices-resource-requests-and-limits

Answer 3

对我来说，在不同的命名空间（default之外）中创建所有部署和服务可以解决此问题。

Answer 4

当尝试部署到集群时，我遇到了同样的问题。以我为例，为应用程序的测试分支自动创建了不需要的Pod。要诊断问题，我需要这样做：

kubectl get po

kubectl describe po-对于现有的pod之一，检查它在哪个节点上运行

kubectl get nodes

kubectl describe node-查看现有吊舱正在使用的节点的CPU使用情况，如下所示：

Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource                       Requests      Limits
  --------                       --------      ------
  cpu                            1010m (93%)   4 (210%)

然后，可以使用以下命令删除不需要的吊舱：

kubectl get deployments

kubectl delete deployment ....-然后是我需要删除的Pod的部署名称。

一旦我删除了足够多的未使用的Pod，我就有能力部署新的Pod。

由于CPU不足，Pod处于挂起状态

4 个答案: