Question

我正在使用nginx将请求代理到kubernetes集群中的StatefulSets的多个Headless服务。我现在遇到的问题是，每当服务IP更改时，nginx都不会将服务端点解析为更新的IP地址，但仍使用过期的缓存IP地址。我曾尝试在nginx配置中的proxy_pass中使用变量，但毫无用处。在我的本地集群上以及在AWS EKS上都部署了。这是我的nginx配置的代码段：

upstream svc-foo {
  server svc-foo:8080;
  keepalive 1024;
}
server {
  resolver 127.0.0.1 [::1]:5353 valid=10s;
  set $foo http://svc-foo;
  location /foo/ {
    proxy_pass $foo; 
    proxy_http_version 1.1;
  }
}

我希望在更新服务时不会造成服务IP更改的停机时间。任何见解和建议都将受到赞赏。

Answer 1

最好的方法是在您的nginx容器上使用DNS sidecar，如下所示：

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: issue-795
  name: nginx-config
data:
  nginx.conf: |-
    user  nginx;
    worker_processes  1;

    events {
      worker_connections  4096;  ## Default: 1024
    }

    http {
      server { # php/fastcgi
        listen 80;
        resolver 127.0.0.1:53 ipv6=off valid=10s;
        set $upstream http://backend:8080;
        location / {
              proxy_pass $upstream;
              proxy_http_version 1.1;
         }
      }
    }
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  namespace: issue-795
  name: proxy
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: proxy
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: nginx-config
          mountPath: /etc/nginx/nginx.conf
          subPath: nginx.conf
      - name: dnsmasq
        image: "janeczku/go-dnsmasq:release-1.0.7"
        args:
          - --listen
          - "127.0.0.1:53"
          - --default-resolver
          - --append-search-domains
      volumes:
      - name: nginx-config
        configMap:
          name: nginx-config
---
apiVersion: v1
kind: Service
metadata:
  namespace: issue-795
  name: backend
spec:
  ports:
  - port: 80
    targetPort: 8080
  clusterIP: None
  selector:
    app: backend
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: backend
  namespace: issue-795
spec:
  serviceName: "backend"
  replicas: 2
  selector:
    matchLabels:
      app: backend
  template:
    metadata:
      labels:
        app: backend
    spec:
      containers:
      - name: echoserver
        image: gcr.io/google_containers/echoserver:1.4
        imagePullPolicy: Always
        ports:
        - containerPort: 8080

Answer 2

我建议通过Ingress在Kubernetes上使用Nginx Ingress Controller资源。

其全部目的是在Kubernetes群集中拥有一个代理，以将流量重定向到ClusterIP服务。

因此，您只有一个外部ELB，它将所有流量重定向到Kubernetes集群。然后，入口控制器会将流量重定向到其他服务。

有关更高级的入口控制器，您可以查看Kong Ingress Controller。

当上游服务IP更改时，Kubernetes Nginx会刷新IP地址

2 个答案: