我們有一個給設備做TCP直連的netty服務，這個服務要支持大量設備的直接連接，并且支持雙向通信（服務端要能夠向指定的設備發送消息，設備也要能向服務端發消息）
這樣的服務多實例部署的時候，就需要做TCP負載均衡。
要實現的目標是：
1、TCP負載均衡，客戶端向一個ip和端口發起連接，均衡負載到不同的netty服務上。
2、Netty服務動態伸縮的時候，負載均衡要能夠感知
3、其他服務要能調用Netty服務向指定的設備發送消息，這就需要設備連接成功后，Netty服務要記錄該設備所在服務的ip地址。其他服務請求時將請求路由到指定設備連接的Netty服務上。
服務部署到k8s集群上。然鵝在騰訊云服務器上構建出來的k8s集群不支持LoadBalancer（如果可以，還請各位指點）。
雖然騰訊云有支持tcp負載均衡的產品，不過那個只是在服務器之間的四層負載均衡，如果要部署到k8s里面，需要pod之間的負載均衡。
最新發現這個項目《https://github.com/danderson/metallb》可以實現自建集群支持四層負載均衡
方案一：
Netty服務通過HostPort暴露端口，通過Nginx做upstream（或者通過騰訊云的負載均衡），配置多個k8s主機節點的ip和端口做TCP負載均衡。
upstream nettymq1{
????server 192.168.3.62:28866 weight=1;
????server 192.168.3.63:28866 weight=1;
????server 192.168.3.64:28866 weight=1;
????server 192.168.3.65:28866 weight=1;
}
server{
????listen 28866;
????proxy_pass nettymq1;
}
缺陷：HostPort方式暴露端口，會占用主機端口，一臺主機就只能部署一個服務，同一臺主機上調度兩個就會出現端口沖突。
并且netty服務不支持擴展到多于集群主機的個數。
方案二：
通過k8s的statefulset方式部署，可以給pod產生規則的域名。這樣在Nginx upstream中配置主機節點的ip就變成了配置pod的規則域名的方式。
upstream nettymq1{
????server nettymq-0:28866 weight=1;
????server nettymq-1:28866 weight=1;
????server nettymq-2:28866 weight=1;
????server nettymq-3:28866 weight=1;
}
這樣可以解決方案一中，占用主機端口，一臺主機只能部署一個的問題。
缺陷：由于upstream中配置的是域名，如果是開源版的nginx沒法動態解析域名，域名指向的ip改變之后，nginx無法解析到新ip上。需要nginx-plus版的resolve指令動態更新域名。
并且還是無法動態想擴展多少個就擴展多少個，受限于upstream中配置server個數。
友情提示：openresty 的?ngx_http_dyups_module?模塊只支持http下的upstream更新，不支持stream下的upstream更新。o(╥﹏╥)o
方案三：
這個方案要用到一個開源項目：
?kubernetes-ingerss：GitHub - nginxinc/kubernetes-ingress: NGINX and NGINX Plus Ingress Controllers for Kubernetes
這個?kubernetes-ingerss 跟 Kubernetes 自帶的?NGINX Ingress Controller不是同一個東西。
它的 example/tcp-udp?下就有關于tcp負載均衡的介紹，可以通過configMap動態注冊服務下的pod的ip到nginx的upstream上。看起來可以完美解決動態擴容縮容的問題。
第一步：先要安裝?kubernetes-ingerss
1、將源碼中deployments目錄復制到可以執行kubectl命令的主機上，進入該目錄
2、根據?https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md 的步驟執行命令即可
Create a Namespace, a SA, the Default Secret and the Customization Config Map
kubectl apply -f common/ns-and-sa.yaml
kubectl apply -f common/default-server-secret.yaml
kubectl apply -f common/nginx-config.yaml
Configure RBAC
kubectl apply -f rbac/rbac.yaml
然后創建負載均衡服務，以下兩種方式選擇一種即可，兩種方式各有優勢，自行選擇即可
Service with the Type LoadBalancer
1.Create a Deployment：只部署一個服務，然后轉發到不同的netty服務
kubectl apply -f deployment/nginx-ingress.yaml
2.Create a DaemonSet：每個主機一個服務
kubectl apply -f daemon-set/nginx-ingress.yaml
以上兩種方式任選其一即可，不要同時安裝兩個
Service with the Type NodePort? 選擇NodePort方式配置負載均衡（這里要根據自己的服務配置需要暴露哪些端口）
kubectl create -f service/nodeport.yaml
3、配置Netty服務的負載均衡
kubectl apply nginx-netty-config.yaml
nginx-netty-config.yaml 文件如下
kind: ConfigMap
apiVersion: v1
metadata:
????name: nginx-config
????namespace: nginx-ingress
data:
????stream-snippets: |
????????upstream netty-mq-tcp {
????????????server netty-mq:28866; ????????# netty-mq為k8s中部署的netty服務名稱
????????}
? ??????server {
????????????listen 30001;
????????????proxy_pass? netty-mq-tcp;
????????}
4、驗證?
將netty-mq服務修改為多個pod部署，
然后讓多個設備連接 nginx-ingress 暴露的30001端口，即可發現多個設備的連接負載均衡到不同的pod上了。
