树莓派组建 k8s 集群（centos版）

但使书种多，会有岁稔时。这篇文章主要讲述树莓派组建 k8s 集群（centos版）相关的知识，希望能为你提供帮助。
一般来讲，一个典型的 k8s 集群通常都由成千上百的服务器构成。对于个人、教育机构和中小企业而言，构建和维护一个具有相当规模的 k8s 集群需要很高的成本，成本、空间和能耗开销都是很棘手的问题。这些问题就会导致很多本来应该基于 k8s 集群的具体工作都很难持续开展。而树莓派是一种低成本、低功耗的基于 ARM 的微型电脑主板，如果能够用一定数量的树莓派组建 k8s 集群且能够做到基本可用，那必然会显著降低 k8s 集群的使用成本。
退一步来说，当树莓派 k8s 集群成功组建后，这样的一套环境也是一个非常实用的学习和实验工具，能够显著降低 k8s 的学习门槛。
树莓派的基本知识
树莓派是一款基于 ARM 的微型电脑主板，旨为学生编程教育而设计，其系统基于 Linux，由注册于英国的慈善组织“Raspberry Pi 基金会”开发，Eben?Upton 为项目带头人。树莓派尺寸仅有信用卡大小，体积和火柴盒相差无几，别看其外表“娇小”，功能却很强大，上网、看视频、听音乐等功能都能支持，可谓是“麻雀虽小，五脏俱全”。而且除了官方系统外，还可以安装其他第三方系统，便携易折腾，因此自问世以来，就深受众多计算机发烧友和创客追捧。
树莓派家族下面图表记录了树莓派家族型号机器参数：

文章图片

树莓派集群可以看出，从树莓派 3 代开始，树莓派的 cpu 和内存有了很大提升，尤其是 2019 年 6 月，树莓派社区推出了新产品 Pi4B，它首次搭载了 4GB 的内存 (1G / 2G / 4G 可选，2020 年 6 月又推出 8G 版本)，并且引入 USB 3.0 接口，同时支持双屏 4K 输出和 H.265 硬件解码；处理器搭载了博通 1.5GHz 的四核 ARM Cortex-A72 处理器，这次硬件的巨大升级对于树莓派的性能提升可谓是质的飞跃，也激发了我用树莓派跑服务端应用的热情，并着手开始实施。
其实在树莓派 3 代推出后，就有人开始用树莓派组建集群，比如下面这个由 1060 台树莓派组成的超大集群，看起来是不是很酷。

文章图片

上图引自：甲骨文用 1060 台树莓派打造了一台“超算”
2020年6月，笔者在gitchat上发了一篇文章树莓派 k8s 集群入坑指南，该文详细介绍了在树莓派4B上如何从安装操作系统64位ubuntu开始，安装docker、kubernetes、helm直至组建k8s集群、并安装nginx-ingress、kubernetes-dashboard和local-path全过程；后续又陆续基于该集群实践了prometheus、mysql主从复制、redis集群、consul集群、kafka集群、spring cloud微服务项目的安装并分享成文。
时隔一年后，笔者对该集群进行升级，docker、kubernetes和helm分别由对应的18.09.9、1.15.0和2.15升级至19.03.8、1.18.20和3.5.0，这个版本组合已经和笔者工作环境下x86集群中使用到的docker、kubernetes和helm主版本基本一致，另外更有意思的是，2020年下半年linux社区发布了适配树莓派4B的64位centos7.9，从而为笔者的这次升级再添一项重要内容，即将树莓派的操作系统切换为centos后，再行组建k8s集群。
树莓派 4 安装 k8s 集群
安装准备
? 硬件：Raspberry Pi 4B-4g 3 台
? sd 卡：闪迪 128GB SD 3 张
本指南中以 3 个树莓派 4 组建 k8s 集群，用一个做 master，另外两个做 node，docker 版本为19.03.8，k8s 版本为1.18.20，使用 kubeadm 进行安装。
具体安装规划如下：

hostname	ip	型号	os	kernel	cpu	memory	disk	role
pi4-master01	10.168.1.101	raspberry4b	CentOS Linux release 7.9.2009 (AltArch)	5.4.72-v8.1.el7	4c	4g	128	master
pi4-node01	10.168.1.102	raspberry4b	CentOS Linux release 7.9.2009 (AltArch)	5.4.72-v8.1.el7	4c	4g	128	node
pi4-node02	10.168.1.103	raspberry4b	CentOS Linux release 7.9.2009 (AltArch)	5.4.72-v8.1.el7	4c	4g	128	node

安装centos7.9参考

树莓派4B安装Centos7.9
树莓派4B的centos7.9配置优化安装docker参考
树莓派4B安装docker 安装kubernetes参考
树莓派4B安装kubernetes 设置 hostname：
# pi4-master01 hostnamectl set-hostname pi4-master01 # pi4-node01 hostnamectl set-hostname pi4-node01 # pi4-node02 hostnamectl set-hostname pi4-node02

组建k8s步骤初始化master节点（只在k8s-mater01主机上执行）
创建初始化配置文件，可以使用如下命令生成初始化配置文件
kubeadm config print init-defaults > kubeadm-config.yaml vi kubeadm-config.yaml
编辑配置文件kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens:
groups:
- system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
- signing
- authentication
  kind: InitConfiguration
  localAPIEndpoint: pi4-master01的ip:10.168.1.101advertiseAddress: 10.168.1.101
  bindPort: 6443
  nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: pi4-master01
  taints:
- effect: NoSchedule
  key: node-role.kubernetes.io/masterapiServer:
  timeoutForControlPlane: 4m0s
  apiVersion: kubeadm.k8s.io/v1beta2
  certificatesDir: /etc/kubernetes/pki
  clusterName: kubernetes
  controllerManager:
  dns:
  type: CoreDNS
  etcd:
  local:
  dataDir: /var/lib/etcd
  imageRepository: k8s.gcr.io
  kind: ClusterConfiguration
  修改版本号【树莓派组建 k8s 集群（centos版）】kubernetesVersion: v1.18.20
  networking:
  dnsDomain: cluster.local
  配置成 Calico 的默认网段 podSubnet: " 10.244.0.0/16"
  serviceSubnet: 10.96.0.0/12
  scheduler: 开启 IPVS 模式apiVersion: kubeproxy.config.k8s.io/v1alpha1
  kind: KubeProxyConfiguration
  featureGates:
  SupportIPVSProxyMode: true
  mode: ipvs
kubeadm 初始化
# kubeadm 初始化 kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log

配置 kubectlmkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
验证是否成功kubectl get node
NAMESTATUSROLESAGEVERSION
pi4-master01NotReadymaster7m11sv1.18.20
注意这里返回的 node 是 NotReady 状态，因为没有装网络插件kubectl get cs
NAMESTATUSMESSAGEERROR
controller-managerUnhealthyGet http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252: connect: connection refused
schedulerUnhealthyGet http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: connect: connection refused
etcd-0Healthy" health" :" true"
注意这里返回的 controller-manager和scheduler 是 Unhealthy 状态，下面是解决方案

- 解决controller-manager和scheduler 是 Unhealthy 状态开启scheduler， control-manager的10251，10252端口修改以下配置文件： /etc/kubernetes/manifests/kube-scheduler.yaml，把port=0那行注释 /etc/kubernetes/manifests/kube-controller-manager.yaml，把port=0那行注释 ```bash # 重启kubelet systemctl restart kubelet kubectl get cs NAMESTATUSMESSAGEERROR schedulerHealthyok controller-managerHealthyok etcd-0Healthy"health":"true" # 注意这里返回的 controller-manager和scheduler 已经是 healthy 状态了

安装calico网络组件
# 下载 wget https://docs.projectcalico.org/manifests/calico.yaml # 替换 calico 部署文件的 IP 为 kubeadm 中的 networking.podSubnet 参数 10.244.0.0 sed -i s/192.168.0.0/10.244.0.0/g calico.yaml # 安装 kubectl apply -f calico.yaml kubectl get node NAMESTATUSROLESAGEVERSION pi4-master01Readymaster59mv1.18.20 # 注意这里返回的 node 已经是 Ready 状态了

增加 node 节点登录 pi-node01 执行加入 k8s 集群命令如下：

root@pi4-node01:~# kubeadm join 10.168.1.101:6443 --token o7dosg.zq4df9h80b6ygryp \\ > --discovery-token-ca-cert-hash sha256:82c4334bc880f3c6972cee93844d6307d989df10d90bd4d63c93212702604523

登录 pi-node02 执行加入 k8s 集群命令如下：

root@pi4-node02:~# kubeadm join 10.168.1.101:6443 --token o7dosg.zq4df9h80b6ygryp \\ > --discovery-token-ca-cert-hash sha256:82c4334bc880f3c6972cee93844d6307d989df10d90bd4d63c93212702604523

登录 pi4-master01 查看 kubernetes 状态：

root@pi4-master01:~/k8s# kubectl get nodes -o wide NAMESTATUSROLESAGEVERSIONINTERNAL-IPEXTERNAL-IPOS-IMAGEKERNEL-VERSIONCONTAINER-RUNTIME pi4-master01Readymaster60mv1.18.2010.168.1.101< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8 pi4-node01Ready< none> 7m20sv1.18.2010.168.1.102< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8 pi4-node02Ready< none> 6m19sv1.18.2010.168.1.103< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8

可以看到 pi4-node01 和 pi4-node02 已经作为正常的 node 节点加入了集群。
node 节点 ROLES 为 none 处理如果 ROLES 列为 none，则通过打标签来进行修复。
如果 master 节点的 ROLES 为 none，则可为 master 的节点打上标签 node-role.kubernetes.io/master=；如果 node 节点的 ROLES 为 none，则可为 node 节点打上标签 node-role.kubernetes.io/node=。

root@pi4-master01:~/k8s# kubectl label node pi4-node01 node-role.kubernetes.io/node= node/pi4-node01 labeled root@pi4-master01:~/k8s# kubectl label node pi4-node02 node-role.kubernetes.io/node= node/pi4-node02 labeled root@pi4-master01:~/k8s# kubectl get nodes -o wideNAMESTATUSROLESAGEVERSIONINTERNAL-IPEXTERNAL-IPOS-IMAGEKERNEL-VERSIONCONTAINER-RUNTIME pi4-master01Readymaster3h57m v1.18.2010.168.1.101< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8 pi4-node01Readynode3h4mv1.18.2010.168.1.102< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8 pi4-node02Readynode3h3mv1.18.2010.168.1.103< none> CentOS Linux 7 (AltArch)5.4.72-v8.1.el7docker://19.3.8

让 Master 也进行 Pod 调度默认情况下，pod 节点不会分配到 master 节点，可以通过如下命令让 master 节点也可以进行 pod 调度：

root@pi4-master01:~# kubectl taint node pi4-master01 node-role.kubernetes.io/master- node/pi4-master01 untainte

取消 k8s 对外开放默认端口限制k8s 默认对外开放的端口范围为 30000~32767，可以通过修改 kube-apiserver.yaml 文件重新调整端口范围，在 /etc/kubernetes/manifests/kube-apiserver.yaml 文件中，找到 --service-cluster-ip-range 这一行，在下面增加如下内容，
- --service-node-port-range=10-65535
然后重启 kubelet 即可。

systemctl daemon-reload & & systemctl restart kubelet

安装 helm3（只在k8s-mater01主机上执行）

# 打印版本号 helm version version.BuildInfoVersion:"v3.5.0", GitCommit:"32c22239423b3b4ba6706d450bd044baffdcf9e6", GitTreeState:"clean", GoVersion:"go1.15.6"

安装 nginx-ingress

下载ingress-nginx
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx "ingress-nginx" has been added to your repositories helm pull ingress-nginx/ingress-nginx--version=3.39.0 tar -zxf ingress-nginx-3.39.0.tgz & & cd ingress-nginx
修改values.yaml
# 修改controller镜像地址 repository: wangshun1024/ingress-nginx-controller # 注释掉 digest # digest: sha256:35fe394c82164efa8f47f3ed0be981b3f23da77175bbb8268a9ae438851c8324

dnsPolicydnsPolicy: ClusterFirstWithHostNet
?
使用hostNetwork,即使用宿主机上的端口80 443hostNetwork: true
?
使用DaemonSet,将ingress部署在指定节点上kind: DaemonSet
?
节点选择，将需要部署的节点打上ingress=true的labelnodeSelector:
kubernetes.io/os: linux
ingress: " true"
修改type,改为ClusterIP。如果在云环境，有loadbanace可以使用loadbanacetype: ClusterIP

- 安装ingress-nginx ```bash # 选择节点打label kubectl label node pi4-master01 pi4-node01 pi4-node02 ingress=true ? # 安装ingress # helm install ingress-nginx ./ NAME: ingress-nginx LAST DEPLOYED: Sat Nov 20 13:09:11 2021 NAMESPACE: default STATUS: deployed REVISION: 1 TEST SUITE: None NOTES: The ingress-nginx controller has been installed. Get the application URL by running these commands: export POD_NAME=$(kubectl --namespace default get pods -o jsonpath=".items[0].metadata.name" -l "app=ingress-nginx,component=controller,release=ingress-nginx") kubectl --namespace default port-forward $POD_NAME 8080:80 echo "Visit http://127.0.0.1:8080 to access your application."An example Ingress that makes use of the controller:apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: annotations: kubernetes.io/ingress.class: nginx name: example namespace: foo spec: rules: - host: www.example.com http: paths: - backend: serviceName: exampleService servicePort: 80 path: / # This section is only required if TLS is to be enabled for the Ingress tls: - hosts: - www.example.com secretName: example-tlsIf TLS is enabled for the Ingress, a Secret containing the certificate and key must also be provided:apiVersion: v1 kind: Secret metadata: name: example-tls namespace: foo data: tls.crt: < base64 encoded cert> tls.key: < base64 encoded key> type: kubernetes.io/tls

确认nginx- ingress 安装是否 OK。
kubectl get all NAMEREADYSTATUSRESTARTSAGE pod/ingress-nginx-controller-6w8bx1/1Running034m pod/ingress-nginx-controller-g9m6k1/1Running034m pod/ingress-nginx-controller-lrspp1/1Running034m

NAMETYPECLUSTER-IPEXTERNAL-IPPORT(S)AGE
service/ingress-nginx-controllerClusterIP10.109.127.239< none> 80/TCP,443/TCP34m
service/ingress-nginx-controller-admissionClusterIP10.110.214.58< none> 443/TCP34m
service/kubernetesClusterIP10.96.0.1< none> 443/TCP39h
NAMEDESIREDCURRENTREADYUP-TO-DATEAVAILABLENODE SELECTORAGE
daemonset.apps/ingress-nginx-controller33333ingress=true,kubernetes.io/os=linux34m

用浏览器访问 http://10.168.1.101/ 界面如下： ![](https://s4.51cto.com/images/blog/202204/17075203_625b56a3883621048.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=) ### 安装 kubernetes-dashboard #### 下载kubernetes-dashboard ```bash helm repo add kubernetes-dashboard https://kubernetes.github.io/dashboard/ "kubernetes-dashboard" has been added to your repositories helm pull kubernetes-dashboard/kubernetes-dashboard --version=4.0.0 tar -zxf kubernetes-dashboard-4.0.0.tgz & & cd kubernetes-dashboard

修改values.yaml

ingress: # 启用ingress enabled: true# 使用指定域名访问 hosts: - kdb.pi4k8s.com

安装kubernetes-dashboard

# 安装kubernetes-dashboard helm install kubernetes-dashboard ./ -n kube-system NAME: kubernetes-dashboard LAST DEPLOYED: Sat Nov 20 15:20:18 2021 NAMESPACE: kube-system STATUS: deployed REVISION: 1 TEST SUITE: None NOTES: ********************************************************************************* *** PLEASE BE PATIENT: kubernetes-dashboard may take a few minutes to install *** ********************************************************************************* From outside the cluster, the server URL(s) are: https://kdb.pi4k8s.com

确认kubernetes-dashboard 安装是否 OK

kubectl get all -n kube-system |grep kubernetes-dashboard pod/kubernetes-dashboard-69574fd85c-n4cwc1/1Running03m43s service/kubernetes-dashboardClusterIP10.103.120.221< none> 443/TCP3m43s deployment.apps/kubernetes-dashboard1/1113m43s replicaset.apps/kubernetes-dashboard-69574fd85c1113m43skubectl get ingress -n kube-system NAMECLASSHOSTSADDRESSPORTSAGE kubernetes-dashboard< none> kdb.pi4k8s.com10.109.127.239804m55s

访问kubernetes-dashboard

ip域名映射处理
在访问kubernetes-dashboard之前，我们需要在使用客户端访问电脑建立ip和相关域名的映射关系如下：
10.168.1.101 kdb.pi4k8s.com
提示：win10或win7电脑中维护ip和相关域名的文件位置在 C:\\Windows\\System32\\drivers\\etc\\hosts。
安全风险处理
因为默认安装的kubernetes-dashboard只能通过https访问，且默认的服务器证书是自签证书，用浏览器首次访问会报安全风险，我们可以选择忽略，直接访问即可。

用域名访问https://kdb.pi4k8s.com，显示风险提示页面如下

文章图片

点“高级”按钮，页面展示风险原因，并提供了可以接受风险并继续的链接

文章图片

点击“”接受风险并继续”，进入登录页面如下

文章图片

查看token并使用token登陆

# 查看内容含有token的secret kubectl get secret -n kube-system | grep kubernetes-dashboard-token kubernetes-dashboard-token-9llx4kubernetes.io/service-account-token325m # 查看对应的token kubectl describe secret -n kube-system kubernetes-dashboard-token-9llx4 Name:kubernetes-dashboard-token-9llx4 Namespace:kube-system Labels:< none> Annotations:kubernetes.io/service-account.name: kubernetes-dashboard kubernetes.io/service-account.uid: eb2a13d1-e3cb-47c3-9376-4e7ffba6d5e0Type:kubernetes.io/service-account-tokenData =https://www.songbingjia.com/android/=== ca.crt:1025 bytes namespace:11 bytes token:eyJhbGciOiJSUzI1NiIsImtpZCI6ImRmbm8wVHhOT21ib0hUZkIzLWhPSGVER0x6Q1ppVHVTWGMxeFgxdWJHTHMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi1jOG5sZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjQzMmQ2NzEwLTNmMjUtNGJmYi1hMGI3LTFiNmE0OGMwYTVlZCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.Cu7eXyk1TqA4RS0Zxs2dWgn7vJwThZRpKSAmpQExUGkMbndKVh4fgr5r2YzVTD5vfKukGTFM2g-tM_HL_8pxgxhA-jXXaNhHa4n1Vi-yje0RUZuvBbXY1E8PZAfzXAf3IoLvHgi5rMxT-NZsoIgSikAh7fBZ9WhdKgMWESyyd3jIj92XqhRRfphn6z2j5uvBSCnTnNG3mUdcWABKR6G2U7Ulz__l6KLnmTeIpZfKEmPbyYqp_8yEmkfYLa7E2KKElU5_NuWriijHbvSvQ9HnF5k2fDvfBf-CqIA1YBs1_9iQH-ONDSw9K88YvE9gUpi4YO2uG9X-9g6OpIdQFLhzog

文章图片

使用Token方式登录，填入token，点登录按钮后进入dashboard如下

文章图片

可以看到这里显示“这里没有可以显示的”，是因为dashboard默认的serviceaccount并没有权限，所以我们需要给予它授权。
创建dashboard-admin.yaml,内容如下

apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: kubernetes-dashboard namespace: kube-system roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: kubernetes-dashboard namespace: kube-system

给dashboard的serviceaccont授权

kubectl apply -f dashboard-admin.yaml clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard configured

然后刷新dashboard，这时候可以通过dashboard查看如下

文章图片

安装 local-path
下载local-path-provisioner

wget https://github.com/rancher/local-path-provisioner/archive/v0.0.19.tar.gz tar -zxf v0.0.19.tar.gz & & cd local-path-provisioner-0.0.19

安装local-path-provisioner

kubectl apply -f deploy/local-path-storage.yaml kubectl get po -n local-path-storage NAMEREADYSTATUSRESTARTSAGE local-path-provisioner-5b577f66ff-q2chs1/1Running024m [root@k8s-master01 deploy]# kubectl get storageclass NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE local-pathrancher.io/local-pathDeleteWaitForFirstConsumerfalse24m

配置 local-path 为默认存储

kubectl patch storageclass local-path -p "metadata": "annotations":"storageclass.kubernetes.io/is-default-class":"true" storageclass.storage.k8s.io/local-path patched kubectl patch storageclass local-path -p "metadata": "annotations":"storageclass.beta.kubernetes.io/is-default-class":"true" storageclass.storage.k8s.io/local-path patched [root@k8s-master01 deploy]# kubectl get storageclass NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE local-path (default)rancher.io/local-pathDeleteWaitForFirstConsumerfalse27m25m

验证local-path安装是否OK

kubectl apply -f examples/pod.yaml,examples/pvc.yaml pod/volume-test created persistentvolumeclaim/local-path-pvc createdkubectl get pvc,pv NAMESTATUSVOLUMECAPACITYACCESS MODESSTORAGECLASSAGE persistentvolumeclaim/local-path-pvcBoundpvc-74935037-f8c7-4f1a-ab2d-f7670f8ff5402GiRWOlocal-path58sNAMECAPACITYACCESS MODESRECLAIM POLICYSTATUSCLAIMSTORAGECLASSREASONAGE persistentvolume/pvc-74935037-f8c7-4f1a-ab2d-f7670f8ff5402GiRWODeleteBounddefault/local-path-pvclocal-path37s

总结
本指南首先介绍了树莓派的基本知识，然后详细讲解了如何用3个树莓派4B组建k8s集群。这套集群是一套完整的k8s环境，能够满足大多数使用场景，比如直接执行docker、k8s和helm等各种命令，或者安装mysql、redis、zookeeper和kafka等各类中间件甚至直接部署我们的学习项目或者工作项目。