同步操作将从 joliny/k8s-ovs 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
==============================
k8s-ovs是一个使用openvswitch为K8S提供SDN功能的项目。该项目基于openshift SDN的原理进行开发。由于openshift的SDN网络方案和openshift自身的代码耦合在一起,无法像flannel和calico等网络方案以插件的方式独立的为K8S提供服务,所以我(隶属于万达网络科技集团云平台部)开发了k8s-ovs,它拥有openshift优秀的SDN功能,又可以独立为K8S提供服务。
该项目中有一部分基础代码库是从openshift的pkg/sdn/plugin直接拷贝或进行了一些修改的。如果有License方面的问题请随时联系我进行修正:tangle3@wanda.cn。
如果对该项目有任何疑问,欢迎加入k8s-ovs-sdn的QQ交流群477023854
进行讨论。
下面将对k8s-ovs的功能和安装进行详细介绍。如果你想了解不同功能的配置方法,可以跳转到admin.md进行阅读。
k8s-ovs支持单租户模式和多租户模式。
安装部署,需要准备至少3台服务器,其中一台作为K8S的master,另外两台作为node节点。我的测试环境为Centos7.2,docker(1.12.6)版本以及golang(1.7.1)版本。每台node节点都需要安装openvswitch-2.5.0或以上版本,并且每台node节点都需要将ovsdb-server
和ovs-vswitchd
运行起来。
请参考K8S安装手册,推荐安装v1.6.0以后的版本,因为之前版本的kubelet在使用CNI的情况下存在IP地址泄漏问题。
1,K8S集群安装过程中应该跳过网络部署这一步,网络部署将由下面的k8s-ovs部署完成。
2,安装过程中需要设置kubelet使用cni,也就是kubelet启动参数需要设置为--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin
,如果kubelet是使用容器的方式启动的需要将/etc/cni/net.d
,/opt/cni/bin
和/var/run/
挂在到kubelet内部。
3,安装完成后K8S的node节点将会呈现出下面的状态。NotReady
是因为还没有部署网络,kubelet在/etc/cni/net.d/
目录下面没有发现cni配置文件导致,这会随着后面网络的部署会得到解决。
$ kubectl get node
NAME STATUS AGE VERSION
sdn-test1 NotReady 10s v1.6.4
sdn-test2 NotReady 4m v1.6.4
sdn-test3 NotReady 6s v1.6.4
下面我们将会分两种情况进行安装,用户可以选择其中适合自己的一种。 1,使用yaml直接一键部署k8s-ovs到k8s集群中,并使其作为daemonset运行起来。 2,详细介绍k8s-ovs的每一个组件的安装步骤,以便用户对k8s-ovs的各个组件依赖关系有一个深入了解。
开始下列安装操作的前提是你已经按照上面步骤安装好了K8S集群。并且在每一台node节点上将ovsdb-server
和ovs-vswitchd
运行起来了。
快速安装需要你部署K8S 1.6以上版本的集群,如果是1.5或者1.4的集群请下载yaml文件做相应修改。
$ kubectl apply -f https://github.com/tangle329/k8s-ovs/tree/master/rootfs/k8s-ovs.yaml
上面命令成功返回之后,你可以通过下列查询命令获取pod和node的运行状态来确认是否安装成功:
$ kubectl get pod --namespace=kube-system | grep k8s-ovs
k8s-ovs-etcd-h0fsc 1/1 Running 0 2h
k8s-ovs-node-c27jr 1/1 Running 0 2h
k8s-ovs-node-fxwwl 1/1 Running 0 2h
k8s-ovs-node-p09jd 1/1 Running 0 2h
$ kubectl get node
NAME STATUS AGE VERSION
sdn-test1 Ready 11m v1.6.4
sdn-test2 Ready 15m v1.6.4
sdn-test3 Ready 11m v1.6.4
至此,k8s-ovs部署完成,用户可以跳转到admin.md进行功能配置了。
详细安装需要你部署K8S v1.4版本以上的集群。 下列命令需要到每台K8S的node节点运行,也可以在一台服务器上将对应文件编译好,然后使用批量部署工具将对应文件谁送到所有node节点上。 你也可以使用k8s-ovs-rpm项目中的RPM SPEC来制作本项目的RPM包,然后直接安装RPM包来完成下列命令的操作。
$ cd $GOPATH/src/
$ git clone https://github.com/tangle329/k8s-ovs.git
$ cd k8s-ovs
$ go build -o rootfs/opt/cni/bin/k8s-ovs k8s-ovs/cniclient
$ cp rootfs/opt/cni/bin/k8s-ovs /opt/cni/bin/
$ cp rootfs/opt/cni/bin/host-local /opt/cni/bin/
$ cp rootfs/opt/cni/bin/loopback /opt/cni/bin/
$ cp rootfs/etc/cni/net.d/80-k8s-ovs.conf /etc/cni/net.d/
$ go build -o rootfs/usr/sbin/k8s-ovs k8s-ovs
$ cp rootfs/usr/sbin/k8s-ovs /usr/sbin/
$ cp rootfs/usr/sbin/k8s-sdn-ovs /usr/sbin/
其中第一个go build -o rootfs/opt/cni/bin/k8s-ovs k8s-ovs/cniclient
生成的k8s-ovs是cni客户端,kubelet在创建和删除POD的时候会调用它来对POD的网络部分进行配置。第二个go build -o rootfs/usr/sbin/k8s-ovs k8s-ovs
生成的k8s-ovs是我们的整个k8s-ovs的核心,前面提到的所有功能都由它来实现,它也是cni的服务端,接受并处理前面cni客户端的请求。注意请不要把/opt/cni/bin/目录设置到PATH环境变量中。
通常在kubelet使用了cni的情况下要执行了cp rootfs/etc/cni/net.d/80-k8s-ovs.conf /etc/cni/net.d/
命令之后k8s的node节点才会进行ready状态,另外请确保在/etc/cni/net.d/中只有80-k8s-ovs.conf这个文件,执行完上面的命令后K8S的node节点状态为:
$ kubectl get node
NAME STATUS AGE VERSION
sdn-test1 Ready 11m v1.6.4
sdn-test2 Ready 15m v1.6.4
sdn-test3 Ready 11m v1.6.4
设置网络参数之前,你需要搭建一个etcd服务,或者和K8S的apiserver共用一个etcd服务,所有K8S节点都需要能访问到该etcd服务。
搭建好etcd服务器之后,使用下列命令设置k8s-ovs的网络参数:
$ etcdctl set /k8s.ovs.com/ovs/network/config '{"Name":"k8ssdn", "Network":"172.11.0.0/16", "HostSubnetLength":10, "ServiceNetwork":"10.96.0.0/12", "PluginName":"k8s-ovs-multitenant"}'
其中,Network
用于设置整个K8S集群POD网络的网段;HostSubnetLength
用于设置每个node节点的子网长度;ServiceNetwork
用于设置K8S中service的网段,这个需要和K8S apiserver的参数--service-cluster-ip-range
指定的网络保持一致;PluginName
用于设置租户模式,k8s-ovs-multitenant
用于设置多租户模式,k8s-ovs-subnet
用于设置单租户模式。
1,启动之前要在每个K8S node节点上设置访问K8S apiserver的环境变量,k8s-ovs就是通过该环境变量和apiserver进行通信的。
如果K8S使用的非加密方式则需要设置KUBERNETES_MASTER,你需要把下面两个变量apiserver_vip
和apiserver_port
替换成你自己的apiserver服务的ip和port:
$ export KUBERNETES_MASTER="${apiserver_vip}:${apiserver_port}"
如果K8S使用加密方式则需要设置KUBECONFIG环境变量。我们使用的是加密方式所以设置的KUBECONFIG环境变量,其中每一台节点上面都需要有/etc/kubernetes/admin.conf这个文件,该文件是在部署加密方式服务的K8S集群时在K8S master上生成的,你需要将它依次拷贝到每一台node节点上:
$ export KUBECONFIG="/etc/kubernetes/admin.conf"
2,设置好环境变量后就可以运行k8s-ovs了。k8s-ovs有几个重要的选项--etcd-endpoints
用于指定etcd服务的访问ip+port列表;如果是加密的etcd服务可以通过--etcd-cafile
,--etcd-certfile
和--etcd-keyfile
来指定CA,证书,秘钥;--etcd-prefix
用于指定k8s-ovs网络配置存放的目录,需要和前面网络配置小节中etcdctl set
命令指定的目录一样;--hostname
用于指定k8s-ovs所运行的node节点的名字,该名字需要和前面kubectl get node
输出的名字一致,通常--hostname
不需要指定,但有时候一些K8S集群的部署脚本会通过给kubelet传递--hostname-override
选项来覆盖默认node节点名,这时就需要设置k8s-ovs的--hostname
以便能够保持一致。
由于我们的环境没有覆盖node节点名,etcd也没有使用加密方式,所以运行命令如下:
$ /usr/sbin/k8s-ovs --etcd-endpoints=http://${etcd_ip}:2379 --etcd-prefix=/k8s.ovs.com/ovs/network --alsologtostderr --v=5
至此,k8s-ovs部署完成,用户可以跳转到admin.md进行功能配置了。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。