当前位置: 首页 > news >正文

k8sday11服务发现(2/2)

本来打算是直接进行Ingress的学习,但是考虑到昨天Service的学习只是一知半解,很多流程没有很清晰,以及部分概念没有了解的很到位,所以打算在进行Ingress的学习之前进行我的个人理解和补充

Service个人理解+补充

1、加深概念理解

①、为什么需要Service(基本原理)

在k8s集群中,我们可以通过Pod的IP进行服务的访问,但是由于Pod频繁的创建和删除,导致Pod的IP并不固定,容易变化,这就会给要使用我们服务的用户带来不方便,用户无法通过固定的IP进行我们服务的访问。k8s为了解决这个问题才引入的Service资源类型,Service会整合多个Pod,给这些Pod提供一个统一的、固定的IP地址,方便之后对这些Pod上面部署的服务的访问,而这个IP地址在Service的生命周期内是不变的,相当于给这些Pod提供了一个固定入口,用户不再需要访问Pod的IP,而是访问这个固定的入口(Service的IP)。

精简总结:为了给用户提供一个固定IP入口访问Pod内部服务

②、Service 是“虚拟入口”(核心原理)

Service只是一个概念,真正起作用的是kube-proxy进程。当我们创建了Service进程时,APIServer会向etcd存储写入刚刚你创建的Service的信息,而运行在每个Node节点上的kube-proxy,当监控到了Service和Endpoint的信息变化,就会将最新的Service信息转换为对应的访问规则。该生成的规则会在所有节点(主节点+Node副节点)生成。

精简总结:监控到了Service和Endpoint的信息变化,kube-proxy就会将最新的Service信息转换为对应的访问规则

③、Service选择器匹配

表面上看是 Service 选 Pod,实质上是 kube-proxy 根据标签选择器生成的 EndpointSlice,再把它变成内核里的负载均衡规则,最终由内核按规则加上LB算法策略进行选 Pod 转发。

精简总结:Service通过Selector和Pod标签匹配,其实是kube-proxy进行了相应规则生成

2、补充知识

①、何为访问规则(kube-proxy的工作模式)
维度userspace(已废弃)iptables(默认)ipvs(推荐生产)nftables(未来主流)
内核依赖任意2.4+ 默认需加载 ip_vs* 模块≥5.13,需 nftables
kube-proxy 担任的真实身份用户态四层负载均衡器内核 NAT 规则的“安装与维护者”IPVS 调度器的“配置器 + 兜底 iptables 安装者”nft set & nft rule 的“安装与维护者”
算法轮询随机rr/wrr/lc/wlc/sh/dh…随机(可扩展)
复杂度O(n) 用户态O(n) 规则链O(1) hash 表O(1) nft set
规模拐点<50 服务就卡1000 服务后 CPU↑1 万服务仍平稳同 ipvs 或更好
延迟/CPU
热更新全链刷新增量更新增量更新
与 NetworkPolicy 兼容性需确认 CNI 支持需确认 CNI 支持
kube-proxy 配置无需默认mode: ipvsmode: nftables
备注仅历史兼容1.30 仍是默认生产>100 节点必开1.33 起 stable

总结:

  • userspace:用户发送请求到Cluster IP后经过iptables规则重新定向给kube-proxy,由kube-proxy充当一个负载均衡器,经过LB算法选择一个Pod,与之建立连接将请求发给Pod。(效率低)

  • iptables:用户发送请求到Cluster IP后经过iptables规则选择一个Pod,与之建立连接将请求发给Pod。kube-proxy只是用来生成iptables规则。(无灵活LB算法,当指向的Pod不可以时不可重试)

  • ipvs:用户发送请求到Cluster IP后经过iptables规则和LB算法选择一个Pod,与之建立连接将请求发给Pod。kube-proxy只是用来生成ipvs规则。(有灵活LB算法,效率高)

    • 要使用ipvs模式,需安装或加载并单独手动开启ipvs内核模块,否则默认是iptables模式

  • nftables:用户发送请求到Cluster IP后经过 nftables DNAT 规则(哈希查表)和LB算法选择一个Pod,与之建立连接将请求发给Pod。kube-proxy是用来写 nftables 规则 + set/映射。(无全局锁)

    • 要安装特殊插件,kube-proxy版本 1.33 起默认启用 nftables 模式,通过 --proxy-mode=nftables 显式切换,Service 数量破千或节点上百时才有明显优化感觉。

②、加载ipvs内核

IPVS 已经随主流 Linux 内核主线发布,通常不需要重新编译内核,只要加载对应模块即可(99% 的现代发行版默认已编译内核带 IPVS)。如果不确定,可以跟着以下步骤加载内核:(我只提供在WSL2的内核加载哈,如果是其他版本,可以问AI看看其他的检测方法)

Ⅰ、确认当前内核到底有没有 IPVS
  # 看内核编译选项(适用于 WSL2)zcat /proc/config.gz | grep -i 'IP_VS'​# 输出类似效果即WSL2 内核已经完整编译了 IPVS 支持# CONFIG_IP_VS=m# CONFIG_IP_VS_IPV6=y# CONFIG_IP_VS_DEBUG=y# CONFIG_IP_VS_TAB_BITS=12# CONFIG_IP_VS_PROTO_TCP=y等等
Ⅱ、加载内核
  # 临时加载sudo modprobe ip_vs ip_vs_rr ip_vs_wrr ip_vs_lc ip_vs_sh nf_conntrack# 确认已加载lsmod | grep ip_vs   
   

将会输出类似结果:

③、测试访问服务

给出我的测试实例,只进行集群内服务的访问

Ⅰ、确保容器有多个(至少两个)
   kubectl get po -o wide​# 如果发现只有一个容器,可以使用scale来扩容# 注意nginx-deployment1是我的deployment,记得改成自己的kubectl scale deployment nginx-deployment1 --replicas=<你要扩容的数量>​# 如果扩容之后,过了一会发现容器移动缩容,可以看看是否是设置了HPA# 可选择修改其中最低容器数的配置或临时暂停kubectl get hpa
Ⅱ、进入容器并修改内容
   # 在使用kubectl get po -o wide查看了Pod名称后,选择你要进入的容器名kubectl exec -it <你要进入的容器名> /bin/bash# 修改内容# 方法1、使用vi或vim(由于我还没安装故不演示)# 方法2、使用echo直接覆盖# nginx的html内容在/usr/share/nginx/html/index.htmlecho "<h1>this is nginx-text1</h1>" > /usr/share/nginx/html/index.html

我的实操页面:

Ⅲ、退出容器并查看内容
   # 退出容器exit# 查看内容# 方法1、一条命令直接查看# 注意这里的nginx-deployment1-785fd8f46c-8b5pn是你自己的pod名kubectl exec nginx-deployment1-785fd8f46c-8b5pn -- curl http://localhost# 方法2、在进入容器并修改后直接查看(即第一步退出容器不用执行,而是直接查看内容)curl http://localhost
④、测试服务的问题

刚开始我想通过直接使用curl pod端口:容器暴露端口 直接查看nginx的欢迎页面,但是行不通,一直处于挂起状态,为什么呢?这是因为在 WSL(或任何集群外机器)里没有通往该网段的路由,也缺少 CNI 的 VXLAN/BGP 隧道,所以包发不出去,表现为 curl 一直挂起直到超时。

原因总结:WSL2的网络隔离

以下给出三种解决方案:

Ⅰ、临时测试
  # 查看当前已有服务kubectl get hpa​# 使用 port-forward# 注意这里的nginx-deployment1是我的服务名,你应该改为你自己的kubectl port-forward svc/nginx-deployment1 8080:80​# 注意使用了上面的命令,当前会处于一直挂起的状态,保持这个终端窗口不要关闭。# 这时候你需要另开一台虚拟机,或者再开一个终端,来查看你的服务curl http://localhost:8080​# 当然你也可以在你的windows中直接访问http://localhost:8080

如图:

Ⅱ、长期访问,暴露端口
  # 使用 Kind 的 extraPortMappingskind: ClusterapiVersion: kind.x-k8s.io/v1alpha4nodes:- role: control-plane# 在你的集群配置文件中添加extraPortMappings:- containerPort: 30080           # Kind 容器内部的端口hostPort: 30080               # 映射到 WSL2 和 Windows 主机的端口listenAddress: "0.0.0.0"       # 允许外部访问(包括 Windows 主机)protocol: TCP
  # 删除原有集群kind delete cluster --name my-cluster# 使用已修改的yaml文件创建新的集群kind create cluster --config kind-config.yaml --name my-cluster

注意本方法需要重建集群

  # 同时创建 NodePort 类型的 ServiceapiVersion: v1kind: Servicemetadata:name: nginx-nodeportspec:type: NodePortselector:app: nginxports:- port: 80targetPort: 80nodePort: 30080
  # 使用已修改的yaml文件创建新的Servicekubectl apply -f nginx-nodeport.yaml​# 直接访问服务curl http://localhost:30080

Ingress(ing)

简单理解,Service是一个四层负载均衡器,Ingress是一个七层负载均衡器

Ingress 是 Kubernetes 里“把集群内服务一次性、统一地暴露给集群外部用户”的标准方式,比 NodePort / LoadBalancer / port-forward 更灵活、更可扩展

一、为何需要

场景是否需要 Ingress
本地调试单个服务❌ port-forward 就够
多服务共享 80/443✅ Ingress
需要域名、路径路由✅ Ingress
需要 HTTPS、限流、认证✅ Ingress
云厂商 LoadBalancer 成本太高✅ Ingress + NodePort

相当于是k8s中的nginx的反向代理

二、核心概念

1、Ingress

只是 Kubernetes 里的一条/多条 YAML 记录,就是一个资源对象,自身不会监听端口、也不会转发流量,就是用来定义用户请求转发到具体Pod服务的规则

2、Ingress Controller

一个 Deployment/DaemonSet(常见实现:nginx-ingress、traefik、istio-gateway 等),负责监听集群里所有的 Ingress 对象,把Ingree定义的规则翻译成自己的配置文件(nginx.conf、envoy.yaml …),真正监听端口、转发流量给后端的Pod

精简总结:用户发送请求,Ingress根据请求定义规则,Ingress Controller监听规则变化,翻译为自己的配置文件,给外界提供服务

三、环境准备

1、安装Ingress Controller

我提供两种方式安装:

①、一条 YAML 直接安装
  kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.12.0/deploy/static/provider/cloud/deploy.yaml# 该命令会直接拉取yaml文件并应用在集群,生成Pod# 当然,可能遇到镜像拉取失败,这个方法适用于“网络好”的用户
②、我的做法:分步安装(适用“网络一般”)
Ⅰ、手动拉镜像
Ⅱ、加载到集群
Ⅲ、下载官方 YAML 到本地
Ⅳ、修改官方YAML文件
Ⅴ、应用文件创建Pod

以下给出具体代码:

 # 拉取镜像(使用的是国内阿里云的镜像源)# 如果你可以直接拉取到国外官方给的,之后步骤内的修改文件就不用改了docker pull registry.aliyuncs.com/google_containers/nginx-ingress-controller:v1.12.0docker pull registry.aliyuncs.com/google_containers/kube-webhook-certgen:v1.5.0​# 导入到集群# 注意my-multi-node-cluster1是我的集群名,你要改成自己的kind load docker-image registry.aliyuncs.com/google_containers/nginx-ingress-controller:v1.12.0 --name my-multi-node-cluster1kind load docker-image registry.aliyuncs.com/google_containers/kube-webhook-certgen:v1.5.0 --name my-multi-node-cluster1​# 下载官方文件# 用 curlcurl -Lo ingress-nginx.yaml \https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.12.0/deploy/static/provider/cloud/deploy.yaml# 用 wgetwget -O ingress-nginx.yaml \https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.12.0/deploy/static/provider/cloud/deploy.yaml# 如果两个都由于网络问题无法下载成功,提供网址,直接另存为到本地即可# 官方YAML文件网址:https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.12.0/deploy/static/provider/cloud/deploy.yaml​# 修改文件# 记得要导到相对应文件的路径下# 同时完成两处替换 + 删除所有 digestsed -i \-e 's|registry\.k8s\.io/ingress-nginx/controller|registry.aliyuncs.com/google_containers/nginx-ingress-controller|g' \-e 's|registry\.k8s\.io/ingress-nginx/kube-webhook-certgen|registry.aliyuncs.com/google_containers/kube-webhook-certgen|g' \-e 's/@sha256:[a-f0-9]*//g' \ingress-nginx.yaml# 如果以上方法不可行,可以使用最笨的方法直接用外部编辑器打开,自己修改【100%成功】# 第445行image: registry.k8s.io/ingress-nginx/controller:v1.12.0@sha256:...改为:image: registry.aliyuncs.com/google_containers/nginx-ingress-controller:v1.12.0# 第547、601行image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.5.0@sha256:.改为:image: registry.aliyuncs.com/google_containers/kube-webhook-certgen:v1.5.0# 保存并退出即可# 不放心是否修改成功,可以cat一下,或者外部编辑器打开,划到文件后面部分,大概4/5处可以看到image​# 应用文件,重新部署kubectl apply -f ingress-nginx.yaml

成功如图:

【注意:这些pod都是在ingress-nginx这个命名空间内的

官方 YAML 自带 Job 是为了自动生成 webhook 证书,确保 controller 能正常启动,跑一次即结束。

2、准备Service和Pod

准备两个Service(nginx-service和tomcat-service)和两个Deployment(一个nginx,一个tomcat),每个Deployment对应3个Pod副本。

最终实现:

①、给出我的yaml配置:
# ingress的nginx-deploy1.yamlapiVersion: apps/v1               # Deployment 的API的版本kind: Deployment                  # 声明资源类型是 Deploymentmetadata:                         # Deployment 的元信息name: nginx-deploy1             # Deployment 名称(自定义),注意全小写namespace: ingress-nginx        # 目标命名空间labels:app: nginx-deploy1            # 给 Deployment 打标签spec:replicas: 3                     # 期望的 Pod 副本数selector:                       # 选择器,告诉 Deployment 它要管理哪些 PodmatchLabels:                  # 按照标签匹配app: nginx-ingress-deploy   # 必须与下方 Pod 模板的 template.metadata.labels 一致template:                       # Pod 模板,通过这个模板创建副本metadata:                     # Pod 的元信息labels:app: nginx-ingress-deploy # Pod 标签,和上方matchLabels一致且和下方的nginx-service相匹配spec:containers:- name: nginx             # 容器名称image: nginx:1.24.0     # 镜像版本,不加版本号默认最新版imagePullPolicy: IfNotPresent  # 镜像拉取策略ports:- containerPort: 80   # Pod 开放的端口​# 使用---隔开多个配置文件---# ingress的nginx-service.yamlapiVersion: v1                    # Service的API版本(固定为v1)kind: Service                     # 资源类型为Servicemetadata:                         # 元数据name: nginx-service             # Service的名称(唯一标识)namespace: ingress-nginx        # 命名空间labels:                         # Service的标签(用于筛选)app: nginx-service            # 标签(自定义)spec:                             # 规约(期望状态)type: ClusterIP                 # Service类型(ClusterIP/NodePort/LoadBalancer/ExternalName)selector:                       # 关键!用于选择要暴露的Pod(通过标签匹配)app: nginx-ingress-deploy     # 匹配label为"app: nginx-ingress-deploy"的Podports:                          # 端口映射规则(可配置多个)- name: http                    # 端口名称(可选,用于区分多个端口)protocol: TCP                 # 协议(TCP/UDP/SCTP,默认TCP)port: 80                      # Service暴露的端口(集群内部访问用)targetPort: 80                # Pod中容器的端口(Service转发的目标端口)​# 使用---隔开多个配置文件---# ingress的tomcat-deploy1.yamlapiVersion: apps/v1               # Deployment 的API的版本kind: Deployment                  # 声明资源类型是 Deploymentmetadata:                         # Deployment 的元信息name: tomcat-deploy1            # Deployment 名称(自定义),注意全小写namespace: ingress-nginx        # 目标命名空间labels:app: tomcat-deploy1           # 给 Deployment 打标签spec:replicas: 3                     # 期望的 Pod 副本数selector:                       # 选择器,告诉 Deployment 它要管理哪些 PodmatchLabels:                  # 按照标签匹配app: tomcat-ingress-deploy  # 必须与下方 Pod 模板的 template.metadata.labels 一致template:                       # Pod 模板,通过这个模板创建副本metadata:                     # Pod 的元信息labels:app: tomcat-ingress-deploy # Pod 标签,必须与上方的 selector.matchLabels 一致,和下方的tomcat-service相匹配spec:containers:- name: tomcat             # 容器名称image: tomcat:9.0-jdk11-temurin    # 镜像版本,不加版本号默认最新版imagePullPolicy: IfNotPresent  # 镜像拉取策略ports:- containerPort: 8080   # Pod 开放的端口​# 使用---隔开多个配置文件---# ingress的tomcat-service.yamlapiVersion: v1                    # Service的API版本(固定为v1)kind: Service                     # 资源类型为Servicemetadata:                         # 元数据name: tomcat-service            # Service的名称(唯一标识)namespace: ingress-nginx        # 命名空间labels:                         # Service的标签(用于筛选)app: tomcat-service           # 标签(自定义)spec:                             # 规约(期望状态)type: ClusterIP                 # Service类型(ClusterIP/NodePort/LoadBalancer/ExternalName)selector:                       # 关键!用于选择要暴露的Pod(通过标签匹配)app: tomcat-ingress-deploy    # 匹配label为"app: tomcat-ingress-deploy"的Podports:                          # 端口映射规则(可配置多个)- name: httpprotocol: TCP               # 协议(TCP/UDP/SCTP,默认TCP)port: 80                    # Service暴露的端口(集群内部访问用)targetPort: 8080            # Pod中容器的端口(Service转发的目标端口)

如果镜像拉取失败,还是可以通过手动拉取+导入集群解决哈

②、验证

配置完后应用文件并且验证即可

  # 应用文件(记得导到文件对应路径)# 注意nginx-tomcat-ingress1.yaml是我的文件名,你要改成你自己的kubectl create -f nginx-tomcat-ingress1.yaml​# 查看pods和servicekubectl get svc -n ingress-nginxkubectl get po -n ingress-nginx# 确认 Service selector 真的能选到 Pod(可选)kubectl get endpoints -n ingress-nginx nginx-servicekubectl get endpoints -n ingress-nginx tomcat-service

如图即成功:

四、 案例HTTP+HTTPS代理

1、配置ingress的yaml文件
apiVersion: networking.k8s.io/v1           # Ingress的API版本kind: Ingress                              # 声明资源类型为 Ingressmetadata:                                  # Ingress的元数据name: ingress1                           # Ingress的名称(自定义)namespace: ingress-nginx                 # 指定目标命名空间spec:                                      # Ingress的规约(期望状态)rules:                                   # 定义路由规则- host: nginx.ingress1.com             # 配置域名http:paths:- path: /pathType: Prefix                # 必填字段backend:service:                      # 后端服务配置name: nginx-service         # 后端第一个service服务名称port:number: 80                # 后端第一个service服务端口号- host: tomcat.ingress1.com            # 配置域名http:paths:- path: /pathType: Prefixbackend:service:name: tomcat-service       # 后端第二个service服务名称port:number: 80             # 后端第二个service服务端口号
2、应用文件创建Ingress并验证
  # 创建Ingresskubectl create -f ingress1.yaml# 验证kubectl describe ing -n ingress-nginx

可得到如图类似信息:

用户通过访问Host域名,通过Ingress转发到Service,之后访问Pod

如:访问nginx.ingress1.com,会将请求发给nginx-service:80,之后将请求按规则分发给其管理的Pod

3、HTTP+HTTPS代理测试
   # 使用命令查看对应http暴露端口号kubectl get svc -n ingress-nginx

前面的就是http暴露出来的端口号(80:32292)后面的是https暴露的端口号(443:30099)

①、端口转发访问服务
  # 开发测试常用kubectl port-forward -n ingress-nginx service/ingress-nginx-controller 8080:80​# 之后在浏览器访问服务即可http://nginx.ingress1.com:8080http://tomcat.ingress1.com:8080
②、hosts配置域名访问服务
  # 将 ingress-nginx-controller 的 80 和 443 同时映射到本机 80 和 443kubectl port-forward -n ingress-nginx svc/ingress-nginx-controller 80:80 443:443​# 管理员权限编辑Windows hosts (C:\Windows\System32\drivers\etc\hosts)写:# 其实类似nginx的反向代理,可去我的nginx实操二中看看127.0.0.1 nginx.ingress1.com127.0.0.1 tomcat.ingress1.com​# 浏览器访问服务http://nginx.ingress1.com:32292http://tomcat.ingress1.com:30099

如果发现tomcat还是没有首页,是因为现代默认把应用放在webapps.dist目录,我需要手动复制到webapps目录才可以访问

http://www.lryc.cn/news/625621.html

相关文章:

  • Kubernetes 的 YAML 配置文件-kind
  • 在 Kotlin 中 使用泛型类和泛型函数
  • WRC大会精彩回顾 | NanoLoong机器人足球首秀青龙机械臂咖啡服务双线出击
  • 【论文阅读】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
  • 【新启航】航空飞机起落架深孔型腔的内轮廓检测方法探究 - 激光频率梳 3D 轮廓检测
  • 主流 3D 模型格式(FBX/OBJ/DAE/GLTF)材质支持与转换操作指南
  • STranslate:一键聚合翻译+OCR,效率翻倍
  • CVPR 2025 | 具身智能 | HOLODECK:一句话召唤3D世界,智能体的“元宇宙练功房”来了
  • Chrome原生工具网页长截图方法
  • [Linux] 网络中的 `tun` 模式
  • 神经网络拆解:用Excel模拟手写数字识别
  • Chrome 插件开发实战技术文章大纲
  • 从密度到聚类:DBSCAN算法的第一性原理解析
  • 【数据可视化-93】使用 Pyecharts 绘制旭日图:步骤与数据组织形式
  • 从接口自动化测试框架设计到开发(三)主流程封装、返回数据写入excel
  • 传统艾灸VS七彩喜艾灸机器人:同样的艾香,多了4分“巧”
  • JetBrains系列产品-IDEA/PyCharm/GoLand自动生成方法返回值的快捷键,查看方法参数的快捷键。
  • 0819 使用IP多路复用实现TCP并发服务器
  • Java -- 用户线程和守护线程--线程同步机制
  • Java开发过程中实用的技术点(一)
  • LIA-X - 一张照片生成任意表情肖像动画视频 精准操控面部动作 支持50系显卡 一键整合包下载
  • 免费dll修复?缺少xxx.dll?【图文详解】Visual C++运行库安装?无法定位程序输入点于动态链接库?
  • VulKan笔记(九)-着色器
  • 机器学习--决策树2
  • 力扣57:插入区间
  • 决策树二-泰坦尼克号幸存者
  • 决策树(2)
  • FPGA入门-多路选择器
  • 决策树1.1
  • 机器学习(决策树2)