在K8上使用单个LoadBalancer公开多个TCP / UDP服务

时间：2020-04-25 18:10:01

标签： kubernetes kubernetes-ingress

试图弄清楚如何使用Kubernetes上的单个LoadBalancer公开多个TCP / UDP服务。假设服务是ftpsrv1.com和ftpsrv2.com，它们分别在端口21上提供服务。

这是我能想到的选项及其局限性：

  • 每svc 1磅：太贵了。
  • Nodeport：想要使用30000-32767范围之外的端口。
  • K8s Ingress：截至目前不支持TCP或UDP服务。
  • 使用Nginx Ingress控制器：再次will be one on one mapping：
  • 发现了this custom implementation：但它似乎没有更新，最近一次更新是在一年前。

任何输入将不胜感激。

4 个答案:

答案 0 :(得分：11)

实际上是possible使用NGINX Ingress来完成的。

入口不支持TCP或UDP服务。因此，此Ingress控制器使用标志--tcp-services-configmap和--udp-services-configmap指向现有的配置映射，其中的键是要使用的外部端口，并且该值使用以下格式指示要公开的服务：{{ 1}}。

This guide描述了如何使用minikube来实现它，但是在本地kubernetes上执行此操作是不同的，并且需要更多步骤。

缺乏描述如何在非minikube系统上完成操作的文档，这就是为什么我决定在这里完成所有步骤的原因。本指南假定您有一个未安装NGINX Ingress的全新集群。

我正在使用GKE集群，并且所有命令都在Linux工作站上运行。也可以在Bare Metal K8S群集上完成。

创建示例应用程序和服务

在这里，我们将创建和应用程序，稍后将使用我们的入口将其公开。 

<namespace/service name>:<service port>:[PROXY]:[PROXY]

请注意，我们正在为同一应用程序创建2个不同的服务。这仅是作为概念证明。我不想向后者展示仅使用一个Ingress就可以映射许多端口。

使用Helm安装NGINX Ingress：

安装头盔3：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-deployment
  namespace: default
  labels:
    app: redis
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      - image: redis
        imagePullPolicy: Always
        name: redis
        ports:
        - containerPort: 6379
          protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: redis-service
  namespace: default
spec:
  selector:
    app: redis
  type: ClusterIP
  ports:
    - name: tcp-port
      port: 6379
      targetPort: 6379
      protocol: TCP
---      
apiVersion: v1
kind: Service
metadata:
  name: redis-service2
  namespace: default
spec:
  selector:
    app: redis
  type: ClusterIP
  ports:
    - name: tcp-port
      port: 6380
      targetPort: 6379
      protocol: TCP

添加NGINX Ingress仓库：

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

在kube系统名称空间上安装NGINX Ingress：

$ helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

准备新的NGINX Ingress Controller部署

我们必须在spec.template.spec.containers.args下添加以下行：

$ helm install -n kube-system ingress-nginx ingress-nginx/ingress-nginx

所以我们必须使用以下命令进行编辑：

        - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/udp-services

使其看起来像这样：

$ kubectl edit deployments -n kube-system ingress-nginx-controller

创建tcp / udp服务配置映射 

...
    spec:
      containers:
      - args:
        - /nginx-ingress-controller
        - --publish-service=kube-system/ingress-nginx-controller
        - --election-id=ingress-controller-leader
        - --ingress-class=nginx
        - --configmap=kube-system/ingress-nginx-controller
        - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
        - --validating-webhook=:8443
        - --validating-webhook-certificate=/usr/local/certificates/cert
        - --validating-webhook-key=/usr/local/certificates/key
...

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: kube-system

由于这些配置映射是集中化的，并且可能包含配置，因此，最好在每次添加服务时仅对它们进行修补而不是完全覆盖它们：

apiVersion: v1
kind: ConfigMap
metadata:
  name: udp-services
  namespace: kube-system

$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6379":"default/redis-service:6379"}}'

位置：

  • $ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6380":"default/redis-service2:6380"}}' ：您的服务应从minikube虚拟机外部监听的端口
  • 6379：您的服务安装在其中的名称空间
  • default：服务的名称

我们可以使用以下命令验证我们的资源是否已打补丁：

redis-service

您需要验证的唯一值是$ kubectl get configmap tcp-services -n kube-system -o yaml apiVersion: v1 data: "6379": default/redis-service:6379 "6380": default/redis-service2:6380 kind: ConfigMap metadata: annotations: kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"v1","kind":"ConfigMap","metadata":{"annotations":{},"name":"tcp-services","namespace":"kube-system"}} creationTimestamp: "2020-04-27T14:40:41Z" name: tcp-services namespace: kube-system resourceVersion: "7437" selfLink: /api/v1/namespaces/kube-system/configmaps/tcp-services uid: 11b01605-8895-11ea-b40b-42010a9a0050 属性下的值如下所示：

data

为NGINX Ingress Controller部署添加端口

我们需要修补我们的nginx入口控制器，以便它侦听端口6379/6380并将流量路由到您的服务。

  "6379": default/redis-service:6379
  "6380": default/redis-service2:6380

创建一个名为spec: template: spec: containers: - name: controller ports: - containerPort: 6379 hostPort: 6379 - containerPort: 6380 hostPort: 6380 的文件并将其内容粘贴到上面。

接下来，使用以下命令应用更改：

nginx-ingress-controller-patch.yaml

向NGINX Ingress Controller服务添加端口

与针对minikube提出的解决方案不同，我们必须修补NGINX入口控制器服务，因为它负责公开这些端口。

$ kubectl patch deployment ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-controller-patch.yaml)"

创建一个名为spec: ports: - nodePort: 31100 port: 6379 name: redis - nodePort: 31101 port: 6380 name: redis2 的文件并将其内容粘贴到上面。

接下来，使用以下命令应用更改：

nginx-ingress-svc-controller-patch.yaml

检查我们的服务 

$ kubectl patch service ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-controller-patch.yaml)"

请注意，我们的$ kubectl get service -n kube-system ingress-nginx-controller NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx-controller LoadBalancer 10.15.251.203 34.89.108.48 6379:31100/TCP,6380:31101/TCP,80:30752/TCP,443:30268/TCP 38m 正在监听端口6379/6380。

通过以下命令测试您是否可以使用telnet服务：

ingress-nginx-controller

您应该看到以下输出：

$ telnet 34.89.108.48 6379

要退出telnet，请同时输入Trying 34.89.108.48... Connected to 34.89.108.48. Escape character is '^]'. 键和Ctrl。然后输入]并按Enter。

我们还可以测试端口6380：

quit

如果您无法连接，请查看上面的步骤。

相关文章

答案 1 :(得分：3)

来自 Mark Watney 的公认答案效果很好。但是不需要手动编辑和修补配置，Helm 可以为您完成。

下载 ingress-nginx 的默认 values.yaml 文件。
改变

tcp: {}
#  8080: "default/example-tcp-svc:9000"

到

tcp:
  6379: default/redis-service:6379
  6380: default/redis-service:6380

以下命令将安装或更新（如果已安装）您的 nginx 控制器，创建所需的配置映射并更新配置字段：

helm upgrade --install -n kube-system ingress-nginx ingress-nginx/ingress-nginx --values values.yaml --wait

答案 2 :(得分：0)

关于“ Nodeport：要使用30000-32767范围之外的端口。”

您可以通过服务的Yaml文件中的“ nodePort”设置，为每个服务实现手动选择服务的端口，或设置以下指示的标记，以便为所有服务实现自动分配自定义端口范围。 / p>

从文档中： “如果将类型字段设置为NodePort，则Kubernetes控制平面会在--service-node-port-range标志指定的范围内分配端口（默认值：30000-32767）。” services

答案 3 :(得分：0)

@mWatney的答案很好。但是，它不适用于UDP，因为您无法使用带有ingress-nginx混合协议的负载均衡器。

要解决此问题，实际上您需要添加一个专用于UDP服务以及另一个入口控制器部署的新负载平衡器。

这是在执行@mWatney所有步骤之后为我工作的（尽管我没有使用kube-system命名空间，只是停留在ingress-nginx上）：

  1. 应用此部署

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      labels:
        helm.sh/chart: ingress-nginx-3.10.1
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/version: 0.41.2
        app.kubernetes.io/managed-by: Helm
        app.kubernetes.io/component: controller
      name: ingress-nginx-udp-controller
      namespace: ingress-nginx
    spec:
      selector:
        matchLabels:
          app.kubernetes.io/name: ingress-nginx
          app.kubernetes.io/instance: ingress-nginx
          app.kubernetes.io/component: udp-controller
      revisionHistoryLimit: 10
      minReadySeconds: 0
      template:
        metadata:
          labels:
            app.kubernetes.io/name: ingress-nginx
            app.kubernetes.io/instance: ingress-nginx
            app.kubernetes.io/component: udp-controller
        spec:
          dnsPolicy: ClusterFirst
          containers:
            - name: udp-controller
              image: k8s.gcr.io/ingress-nginx/controller:v0.41.2@sha256:1f4f402b9c14f3ae92b11ada1dfe9893a88f0faeb0b2f4b903e2c67a0c3bf0de
              imagePullPolicy: IfNotPresent
              lifecycle:
                preStop:
                  exec:
                    command:
                      - /wait-shutdown
              args:
                - /nginx-ingress-controller
                - --publish-service=$(POD_NAMESPACE)/ingress-nginx-udp-controller
                - --election-id=ingress-controller-leader
                - --ingress-class=nginx
                - --configmap=$(POD_NAMESPACE)/ingress-nginx-controller
                - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
                - --validating-webhook=:8443
                - --validating-webhook-certificate=/usr/local/certificates/cert
                - --validating-webhook-key=/usr/local/certificates/key
              securityContext:
                capabilities:
                  drop:
                    - ALL
                  add:
                    - NET_BIND_SERVICE
                runAsUser: 101
                allowPrivilegeEscalation: true
              env:
                - name: POD_NAME
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.name
                - name: POD_NAMESPACE
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: LD_PRELOAD
                  value: /usr/local/lib/libmimalloc.so
              livenessProbe:
                httpGet:
                  path: /healthz
                  port: 10254
                  scheme: HTTP
                initialDelaySeconds: 10
                periodSeconds: 10
                timeoutSeconds: 1
                successThreshold: 1
                failureThreshold: 5
              readinessProbe:
                httpGet:
                  path: /healthz
                  port: 10254
                  scheme: HTTP
                initialDelaySeconds: 10
                periodSeconds: 10
                timeoutSeconds: 1
                successThreshold: 1
                failureThreshold: 3
              volumeMounts:
                - name: webhook-cert
                  mountPath: /usr/local/certificates/
                  readOnly: true
              resources:
                requests:
                  cpu: 100m
                  memory: 90Mi
          nodeSelector:
            kubernetes.io/os: linux
          serviceAccountName: ingress-nginx
          terminationGracePeriodSeconds: 300
          volumes:
            - name: webhook-cert
              secret:
                secretName: ingress-nginx-admission
  1. 应用此服务


    apiVersion: v1
    kind: Service
    metadata:
      labels:
        helm.sh/chart: ingress-nginx-3.10.1
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/version: 0.41.2
        app.kubernetes.io/managed-by: Helm
        app.kubernetes.io/component: udp-controller
      name: ingress-nginx-udp-controller
      namespace: ingress-nginx
    spec:
      type: LoadBalancer
      externalTrafficPolicy: Local
      ports:
        - name: udp
          port: 5004
          protocol: UDP
          targetPort: 5004
      selector:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: udp-controller

跑步应该给你类似的东西 kubectl get services -n ingress-nginx 


NAME                                 TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer   10.103.60.70     localhost     80:30885/TCP,443:30370/TCP   13m
ingress-nginx-controller-admission   ClusterIP      10.111.245.103           443/TCP                      14d
ingress-nginx-udp-controller         LoadBalancer   10.111.249.180   localhost     5004:30565/UDP               9m48s

要测试它是否正常工作，可以使用netcat来打udp服务器，例如 nc -u -v localhost 5004

相关问题
最新问题