1. 用户应用实例作为一个web server，提供HTTP访问服务；
2. 用户应用实例使用service服务时，建立与service instance的连接。

1. 启动warden server时，调用文件warden/warden/root/linux/net.sh，制定warden server所在宿主机的部分iptables规则；
2. 在创建warden container的时候，调用文件warden/warden/root/linux/skeleton/net.sh，制定由于warden container创建后需要添加的iptables规则（包括仅仅创建一个warden container的iptables设置，以及为一个warden container做端口映射时的iptables设置）。

function setup_filter() {
  teardown_filter

  # Create or flush forward chain
  iptables -N ${filter_forward_chain} 2> /dev/null || iptables -F ${filter_forward_chain}
  iptables -A ${filter_forward_chain} -j DROP

  # Create or flush default chain
  iptables -N ${filter_default_chain} 2> /dev/null || iptables -F ${filter_default_chain}

  # Always allow established connections to warden containers
  iptables -A ${filter_default_chain} -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

  for n in ${ALLOW_NETWORKS}; do
    if [ "$n" == "" ]
    then
      break
    fi

    iptables -A ${filter_default_chain} --destination "$n" --jump RETURN
  done

  for n in ${DENY_NETWORKS}; do
    if [ "$n" == "" ]
    then
      break
    fi

    iptables -A ${filter_default_chain} --destination "$n" --jump DROP
  done

  iptables -A ${filter_default_chain} --jump REJECT

  # Accept packets related to previously established connections
  iptables -I INPUT -m state --state ESTABLISHED,RELATED --jump ACCEPT -m comment --comment 'related-traffic'

  # Reject traffic from containers to host
  if [ "$ALLOW_HOST_ACCESS" != "true" ]; then
    iptables -A INPUT -s ${POOL_NETWORK} --jump REJECT -m comment --comment 'block-traffic-to-host'
  fi

  # Forward outbound traffic via ${filter_forward_chain}
  iptables -A FORWARD -i w-+ --jump ${filter_forward_chain}

  # Forward inbound traffic immediately
  default_interface=$(ip route show | grep default | cut -d' ' -f5 | head -1)
  iptables -I ${filter_forward_chain} -i $default_interface --jump ACCEPT
}

  # Always allow established connections to warden containers
  iptables -A ${filter_default_chain} -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

  # Accept packets related to previously established connections
  iptables -I INPUT -m state --state ESTABLISHED,RELATED --jump ACCEPT -m comment --comment 'related-traffic'

  # Reject traffic from containers to host
  if [ "$ALLOW_HOST_ACCESS" != "true" ]; then
    iptables -A INPUT -s ${POOL_NETWORK} --jump REJECT -m comment --comment 'block-traffic-to-host'
  fi

  # Forward outbound traffic via ${filter_forward_chain}
  iptables -A FORWARD -i w-+ --jump ${filter_forward_chain}

  # Forward inbound traffic immediately
  default_interface=$(ip route show | grep default | cut -d' ' -f5 | head -1)
  iptables -I ${filter_forward_chain} -i $default_interface --jump ACCEPT

setup_nat

function setup_nat() {
     teardown_nat

      # Create prerouting chain
     iptables -t nat -N ${nat_prerouting_chain} 2> /dev/null || true

      # Bind chain to PREROUTING
     (iptables -t nat -S PREROUTING | grep -q "\-j ${nat_prerouting_chain}\b") ||
            iptables -t nat -A PREROUTING             --jump ${nat_prerouting_chain}

      # Bind chain to OUTPUT (for traffic originating from same host)
     (iptables -t nat -S OUTPUT | grep -q "\-j ${nat_prerouting_chain}\b") ||
            iptables -t nat -A OUTPUT             --out-interface "lo"             --jump ${nat_prerouting_chain}

      # Create postrouting chain
      iptables -t nat -N ${nat_postrouting_chain} 2> /dev/null || true
      # Bind chain to POSTROUTING
      (iptables -t nat -S POSTROUTING | grep -q "\-j ${nat_postrouting_chain}\b") ||
            iptables -t nat -A POSTROUTING             --jump ${nat_postrouting_chain}

      # Enable NAT for traffic coming from containers
      (iptables -t nat -S ${nat_postrouting_chain} | grep -q "\-j SNAT\b") ||
            iptables -t nat -A ${nat_postrouting_chain}             --source ${POOL_NETWORK}             --jump SNAT             --to $(external_ip)
}

        该部分的内容比较容易理解：

        1.首先创建nat_prerouting_chain 链，随后将所有的PREROUTING链中的数据包都跳转至nat_prerouting_chain；

        2.随后将链绑定在nat_prerouting_chain上，保证通过lo网络设备的数据包，都跳转到该链；

        3.创建nat_postrouting_chain链，保证将默认的POSTROUTING链中的所有数据包都跳转至创建的该链；

        4.为从warden container中发出的数据包都采取SNAT处理，使得数据包的源IP都替换为warden server宿主机的IP。

        其实在完成以上这两步之后，还执行了以下代码：

 # Enable forwarding
echo 1 > /proc/sys/net/ipv4/ip_forward

创建warden container之net.sh

        前篇分析的是，warden server启动的时候，对warden server所在的宿主机进行的iptbales设置，在整个过程中，不涉及任何的container。而这一章节，将介绍分析warden server在启动某个具体warden container的时候，再对warden server所在的宿主机设置iptables规则。该文件地址如下：warden/warden/root/linux/skeleton/net.sh。

setup_filter

        首先分析setup_filter方法，源码如下：

function setup_filter() {
       teardown_filter

       # Create instance chain
       iptables -N ${filter_instance_chain}
       iptables -A ${filter_instance_chain}            --goto ${filter_default_chain}

       # Bind instance chain to forward chain
       iptables -I ${filter_forward_chain} 2            --in-interface ${network_host_iface}            --goto ${filter_instance_chain}

       # Create instance log chain
       iptables -N ${filter_instance_log_chain}
       iptables -A ${filter_instance_log_chain}            -p tcp -m conntrack --ctstate NEW,UNTRACKED,INVALID -j LOG --log-prefix "${filter_instance_chain} "

       iptables -A ${filter_instance_log_chain}            --jump RETURN
}

        1. 该方法创建了关于instance的链，随后，将该warden container instance链内的所有数据包都跳至filter_default_chain，也就是在前一章节中提到的filter_default_chain；

        2.绑定该warden container instance的FORWARD链至filter_foward链，也就是说，所有进入filter_foward_chain的数据包，根据数据包从哪个网络接口设备来，进入相应的filter_instance_chain链。也就是说，从network_host_iface网络设备“接收”到的数据包(network_host_iface即为network_container_iface="w-${id}-1")，都转至filter_instance_chain。

        3.创建log chain。

setup_nat

        在创建warden container的时候，也会设置nat，源码如下：

function setup_nat() {
      teardown_nat
      # Create instance chain
      iptables -t nat -N ${nat_instance_chain}
      # Bind instance chain to prerouting chain
      iptables -t nat -A ${nat_prerouting_chain}              --jump ${nat_instance_chain}
}

net_in之端口映射实现

        使得Cloud Foundry内warden container的用户应用实例可以为外部提供web服务，那么warden container和warden server所在宿主机进行一个端口映射操作，也就是warden server提供的net_in接口，真正的执行部分，即为创建容器的该net.sh文件中的in参数执行。

        以下是net_in具体操作的源码实现：

 "in")
       if [ -z "${HOST_PORT:-}" ]; then
           echo "Please specify HOST_PORT..." 1>&2
           exit 1
       fi
       if [ -z "${CONTAINER_PORT:-}" ]; then
           echo "Please specify CONTAINER_PORT..." 1>&2
           exit 1
       fi
       iptables -t nat -A ${nat_instance_chain}            --protocol tcp            --destination "${external_ip}"            --destination-port "${HOST_PORT}"            --jump DNAT            --to-destination "${network_container_ip}:${CONTAINER_PORT}"
        ;;

总结

        以上便是对Cloud Foundry v2中warden的网络设计之iptables规则制定，做了简要的分析。然而，在这之中，有很多的设计仅仅是留了接口，并未真正实现。

另，感谢浙江大学VLIS实验室的实习生高相林的共同研究。