首页 > 代码库 > OpenStack Neutron LoadBalance源码解析(二)
OpenStack Neutron LoadBalance源码解析(二)
声明:
本博客欢迎转载,但请保留原作者信息,并请注明出处:http://write.blog.csdn.net/!
作者:林凯
团队:华为杭州OpenStack团队
在Neutron LoadBalance源码解析(一)中,我们已经了解租户在创建pool、member、healthmonitor和vip的时候,代码会调用HaproxyNSDriver中的create_xxx函数,那么当租户使用pool创建vip时,即代码调用HaproxyNSDriver中的create_vip函数时,Neutron LoadBalancer的基本部署已经完成,那么create_vip这个方法具体做了哪些事情呢?我们一起继续往下看:
HaproxyNSDriver中的create_vip:
def create_vip(self, vip): self._refresh_device(vip['pool_id'])
# 获取配置,然后根据配置部署实例 def _refresh_device(self, pool_id): logical_config = self.plugin_rpc.get_logical_device(pool_id) self.deploy_instance(logical_config)
def deploy_instance(self, logical_config): # do actual deploy only if vip and pool are configured and active # 如果vip和pool被正确配置并且为active if (not logical_config or 'vip' not in logical_config or (logical_config['vip']['status'] not in constants.ACTIVE_PENDING_STATUSES) or not logical_config['vip']['admin_state_up'] or (logical_config['pool']['status'] not in constants.ACTIVE_PENDING_STATUSES) or not logical_config['pool']['admin_state_up']): return if self.exists(logical_config['pool']['id']): self.update(logical_config) else: self.create(logical_config)
def create(self, logical_config): pool_id = logical_config['pool']['id'] namespace = get_ns_name(pool_id) self._plug(namespace, logical_config['vip']['port']) self._spawn(logical_config)
这边有两个重要的操作:plug和spawn,分别来看下:
ef _plug(self, namespace, port, reuse_existing=True): # 更新DB vip创建时创建的port的信息 self.plugin_rpc.plug_vip_port(port['id']) interface_name = self.vif_driver.get_device_name(Wrap(port)) #判断在命名空间是否存在设备,存在则跳过 #不存在这个设备,利用vif_driver进行plug if ip_lib.device_exists(interface_name, self.root_helper, namespace): if not reuse_existing: raise exceptions.PreexistingDeviceFailure( dev_name=interface_name ) else: self.vif_driver.plug( port['network_id'], port['id'], interface_name, port['mac_address'], namespace=namespace ) cidrs = [ '%s/%s' % (ip['ip_address'], netaddr.IPNetwork(ip['subnet']['cidr']).prefixlen) for ip in port['fixed_ips'] ] # 为网卡设置L3初始化 self.vif_driver.init_l3(interface_name, cidrs, namespace=namespace) gw_ip = port['fixed_ips'][0]['subnet'].get('gateway_ip') # 分别出有网关IP和无网关IP的情况 if not gw_ip: host_routes = port['fixed_ips'][0]['subnet'].get('host_routes', []) for host_route in host_routes: if host_route['destination'] == "0.0.0.0/0": gw_ip = host_route['nexthop'] break if gw_ip: # 设置默认网关IP cmd = ['route', 'add', 'default', 'gw', gw_ip] ip_wrapper = ip_lib.IPWrapper(self.root_helper, namespace=namespace) ip_wrapper.netns.execute(cmd, check_exit_code=False) # When delete and re-add the same vip, we need to # send gratuitous ARP to flush the ARP cache in the Router. # 当删除或重添加同样的vip时,我们需要发送gratuitous ARP gratuitous_arp = self.conf.haproxy.send_gratuitous_arp if gratuitous_arp > 0: for ip in port['fixed_ips']: cmd_arping = ['arping', '-U', '-I', interface_name, '-c', gratuitous_arp, ip['ip_address']] ip_wrapper.netns.execute(cmd_arping, check_exit_code=False)
从上面的代码中可知,当不存在网络设备时,要利用vif_driver进行plug,这个plug操作又完成了什么事情呢?因为默认的driver是OVSInterfacedriver,所以在/agent/linux/interface.py中找到OVSInterfaceDriver的plug方法:
def plug(self, network_id, port_id, device_name, mac_address, bridge=None, namespace=None, prefix=None): """Plug in the interface.""" if not bridge: bridge = self.conf.ovs_integration_bridge if not ip_lib.device_exists(device_name, self.root_helper, namespace=namespace): self.check_bridge_exists(bridge) ip = ip_lib.IPWrapper(self.root_helper) # 获取设备信息,采用tap设备或者veth设备 # TAP 设备是一种让用户态程序向内核协议栈注入数据的设备 # VETH 作用是反转通讯数据的方向,需要发送的数据会被转换成需要收到的数据 # 重新送入内核网络层进行处理,从而间接的完成数据的注入 tap_name = self._get_tap_name(device_name, prefix) if self.conf.ovs_use_veth: # Create ns_dev in a namespace if one is configured. root_dev, ns_dev = ip.add_veth(tap_name, device_name, namespace2=namespace) else: ns_dev = ip.device(device_name) # 如果br-int没有问题,创建网卡,并且attach到br-int上 # 如果用的是veth设备,则不添加网卡为internal类型接口。 internal = not self.conf.ovs_use_veth self._ovs_add_port(bridge, tap_name, port_id, mac_address, internal=internal) # 为网卡设置mac_address # ip link set tap452bdfab-31 address fa:16:3e:d7:08:67 ns_dev.link.set_address(mac_address) # 设置mtu if self.conf.network_device_mtu: ns_dev.link.set_mtu(self.conf.network_device_mtu) if self.conf.ovs_use_veth: root_dev.link.set_mtu(self.conf.network_device_mtu) # Add an interface created by ovs to the namespace. # 将新建的网卡放在这个namespace里面 if not self.conf.ovs_use_veth and namespace: namespace_obj = ip.ensure_namespace(namespace) namespace_obj.add_device_to_namespace(ns_dev) # 将网卡设置为up ns_dev.link.set_up() if self.conf.ovs_use_veth: root_dev.link.set_up() else: LOG.info(_("Device %s already exists"), device_name)
这里的plug操作可以这样理解: LB的这些设备需要连接到交换机(指ovs虚拟交换机:br-int)上才能与网络相通,并正常工作。而要与网络想通,我们需要为设备添加一张网卡,并且把网卡attach到交换机上,然后配置正确,这些设备才能正常工作。
在代码中还可以看到将网卡放在namespace这个东西中,namespace又是用来做什么的?感兴趣的可以看下:http://blog.csdn.net/preterhuman_peak/article/details/40857117,简而言之:namespace提供了一个容器,它为多个进程提供了一个完全独立的网络协议栈的视图。包括网络设备接口,IPv4和IPv6协议栈,IP路由表,防火墙规则,sockets等。所以网卡放入到namespace中,这个网络设备接口就被进程所感知并可被使用。
进行plug操作之后,还需要为网卡进行l3的初始化,并设置默认网关IP,这里我们很多人就有疑问:为什么要进行这些设置呢?这边就涉及到Neutron中实现L4/L7层服务的框架Service Insertion。
Neutron又实现了一层叫做“服务”的插件结构,即现在有两层插件结构,在NeutronPlugin上又可以启动多个服务,neutronPlugin的服务插件继续和数据库打交道同时也能共享原有的NeutronPlugin的信息,如port信息;同时,像FWaaS服务要求ServiceAgent可以运行在l3-agent所在的网络节点上,而LBaaS的haproxy并不需要也安装在l3-agent,但l3-agent也应该在一个专门的命名空间里创建一个port和haproxy所在的host是联通的。
所以LBaaS服务不需要运行在网络节点上,但网络节点上专门为它准备的port和实际运行haproxy的节点应该通,这个port和网关也应该通,即所谓的Floating/In-Path模式。所以才有了以上的操作与配置。
到这里_plug操作已经完成了,然后还有一个坑没填,就是_spawn方法中执行了哪些操作呢?
def _spawn(self, logical_config, extra_cmd_args=()): pool_id = logical_config['pool']['id'] namespace = get_ns_name(pool_id) conf_path = self._get_state_file_path(pool_id, 'conf') pid_path = self._get_state_file_path(pool_id, 'pid') sock_path = self._get_state_file_path(pool_id, 'sock') user_group = self.conf.haproxy.user_group hacfg.save_config(conf_path, logical_config, sock_path, user_group) cmd = ['haproxy', '-f', conf_path, '-p', pid_path] cmd.extend(extra_cmd_args) ns = ip_lib.IPWrapper(self.root_helper, namespace) ns.netns.execute(cmd) # remember the pool<>port mapping self.pool_to_port_id[pool_id] = logical_config['vip']['port']['id']
至此,LBaaS V1.0的模块解析和源代码分析就告一段落。
OpenStack Neutron LoadBalance源码解析(二)
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。