首页 > 代码库 > puppet 深入讲解

puppet 深入讲解

一、Modules概述


   到目前为止,关于puppet的资源申报、定义类、声明类等所有功能都只能在一个manifest(清单)文件中实现,但这却非最有效的基于puppet管理IT基础架构的方式

   实践中,一般需要把manifest文件分解成易于理解的结构,例如将类文件、配置文件甚至包括后面将要提到的模板文件等分类存放,并且通过某种机制在必要时将他们整合起来;

   这种机制就是“模板”,它有助于以结构化、层次化的方式使用puppet,而puppet则基于“板块自动装载器”完成模块装载,从另一个角度来说,模板实际上就是一个按约定的、预定义的结构存放了多个文件或子目录的目录,目录里的这些文件或子目录必须遵循其命名规法

   puppet会按照此种规法在特定位置查找所需的模块文件,不过,这些特定目录也可以通过puppet的配置参数modulepath定义


    只要在某模板中定义了一个类,就可以在任何manifest文件中使用它,puppet会自动去查找并装载包含了这个类的定义的manifest文件任意使用他们。于是基于模块机制的puppet的主manifest文件就可以变得很小,也更易懂并能基于策略进行定制


    模块目录的结构

    在puppet中,模块本身用一个目录表示,其需要存放于puppet的modulepath参数所定义的目录中,如/etc/puppet/modules,模块目录名称必须与模块名称相同,需要遵循特定的组织结构,如下


   

MODULE NAME
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          
    manifests
        init.pp
    files
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          
    templates
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
    lib
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
    tests
    spec


 

MODULE NAME:模块名称,也是模块目录名称;模块名称只能以小写字母开头,可以包含小写字母、数字和下划线,但不能使用"main"或"setting"作为模块名;
   manifests目录:包含当前模块的所有manifest文件;每个manifest文件必须
                  包含一个类或定义一个类,此访问访问路径格式为
                  "ModuleName::[SubDirectoryName::]ManifestFileName"
                   注意manifest文件名不需要其后缀.pp
              init.pp:只能包含了一个单独的类定义,且类的名称必须与模块名称相同;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                
   files目录 :包含了一组静态文件,这些文件可被节点下载使用;每个
               文件的访问路径遵循
       puppet://modules/MODULE_NAME/filename路径格式
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          
   lib  目录 :插件目录,常用于自定义fact及自定义资源类型等;
   templates目录:存储了manifest用到的模板文件,其访问路径遵循
       template(‘ModuleName/TemplateName‘)格式
   tests目录 : 当前模块的使用帮助或使用范例文件,类似于如何声明当前模块中的类即定义的类型等;
    spec目录 :类似于tests目录的功能,只不过,其是为lib目录定义的各插件提供使用范例的;


二、类知识点回顾


   

     类就是命名的代码块,存放着一个或者多个资源 ;可以继承

     类的命名方式

     class class_name {

       ...puppet code...

     }

     子类的命名方式

       class parent_name::subclass_name inherits parent_name {

       }

     多级继承的子类

       class grand_name::parent_name::subclass_name inherits grand_name::parent_name {

       }

       => 在子类中覆盖父类中的资源

       +> 在子类中为父类的资源新增属性

       

     声明类(3种方式)


        include

        require

        class { ‘class_name‘:

               params1 =>value1,

               params2 =>value2,

        }


三、 实例演示


    nginx模块:

        nginx  ---------------父类

            nginx程序包 ------父类定义的资源

        nginx::web  ---------子类1

            file    -------子类1定义的资源1

            service ------ 子类2定义的资源2

        nginx::rproxy -------子类2

            file    --------子类2定义的资源1

            service --------子类2定义的资源2          


    实现步骤:

   1、 定义一个父类清单,并应用测试

#puppet agent --configprint modulepath   查看模块目录路径
 /etc/puppet/modules:/usr/share/puppet/modules 这两个路径都可以使用,都可以被puppet自动找到
# cd /etc/puppet/modules
# mkdir -pv nginx/{manifests,files,templates}
定义一个父类
# cd  /nginx/manifests
# vim init.pp
class nginx {
      package {‘nginx‘:
            ensure => present,
            name   => nginx,
       }
}
# puppet apply -d -v -e ‘include nginx‘
# rpm -q nginx
  nginx-1.0.15-5.el6.x86_64

     我们可以不使用 #puppet apply -d -v -e ‘include nginx‘来应用

    另一种方式应用 ----node调用

    知识点:

     

定义节点:也需要在清单文件中定义,文件名后缀为.pp;在master/agent中,所有节点清单入口文件为site.pp
格式:
  node ‘node_name‘ {
      节点专用变量
      类声明
  }
##建议一类节点使用一个清单文件,所有的清单文件都在site.pp中使用import包含进来

   

# vim  local.pp
node ‘node3.linux.com‘ {
   include nginx
}
# puppet apply local.pp
# rpm -q nginx
  nginx-1.0.15-5.el6.x86_64


   2、定义两个子类并应用测试

   

# cd  /etc/puppet/modules/nginx
# cp  /etc/nginx/nginx.conf files/nginx.web.conf
# cp  /etc/nginx/nginx.conf files/nginx.rproxy.conf
# vim files/nginx.web.conf 做如下修改
  worker_processes  4;
  worker_connections  10240;
# vim  files/nginx.reproxy.conf 做如下修改
  worker_processes  2;
###简单修改下,方便后边的应用测试

   

     2.1 创建子类nginx::web

# cd  /etc/puppet/modules/nginx
# cd manifests
# vim web.pp
class nginx::web inherits nginx {
  file {‘nginx.conf‘:
        ensure  => file,
        source  => "puppet:///modules/nginx/nginx.web.conf",
        path    => ‘/etc/nginx/nginx.conf‘,
        require => Package[‘nginx‘],
        mode    => ‘0644‘,
        notify  => Service[‘nginx‘],
   }
   service {‘nginx‘:
         ensure  => true,
         enable  => true,
         name    => nginx,
         restart => ‘/etc/inig.d/nginx reload‘,
   }

    应用子类nginx::web

   

先卸载掉nginx
# rpm  -e nginx
# puppet apply -d -v -e ‘include nginx::web‘
# rpm -q nginx
  nginx-1.0.15-5.el6.x86_64
# cat /etc/nginx/nginx.conf | grep worker_processes
  worker_processes  4;
# cat /etc/nginx/nginx.conf | grep worker_connections
  worker_connections  10240;
##跟我们上边修改的web.conf配置文件相同,应用正常

 

      2.2创建子类 nginx::rproxy

   

# cd /etc/puppet/modules/nginx/
# cd manifests
# vim rproxy.pp
class nginx::rproxy inherits nginx {
        file {‘nginx.conf‘:
           ensure => file,
           source => "puppet:///modules/nginx/nginx.rproxy.conf",
           path   => "/etc/nginx/nginx.conf",
           require => Package[‘nginx‘],
           mode   => ‘0644‘,
           notify => Service[‘nginx‘],
         }
         service {‘nginx‘:
            ensure => true,
            enable => true,
             restart => ‘/etc/init.d/nginx reload‘,
         }
}

     

    应用测试子类 nginx::rproxy

   

先将nginx卸载
# rpm -e nginx
# rm -rf /etc/nginx/
创建一个node调用
# vim local.pp
node ‘node3.linux.com‘ {
   include nginx::rproxy
}
# puppet apply  local.pp
# rpm -q  nginx
 nginx-1.0.15-5.el6.x86_64
# service nginx status
nginx (pid  5669) 正在运行...
# cat /etc/nginx/nginx.conf | grep worker_processes
worker_processes  2;
###程序包已安装,服务已启动,而且rproxy.conf配置文件已经应用。


   

四、puppet模板


   语法:

      <%= Ruby Expression %>替换为表达式的值

           <%= @processorcount %>

       <% ruby code %>仅执行代码,不做任何替换;常用于条件判断或循环语句、设定变量以及在输出之前对数据进行处理;


       <%# commit%>注释

       <%% 输出<%

       %%>:显示%>


       调用模板变量:变量完全限定名称

       迭代和条件判断


       使用模板生成文件时,使用的文件属性为content

           content => template(‘module_name/template_file_name‘)


      实例:


     1、提供模板

#cd  /etc/puppet/modules/
#cd nginx/files
#rm -rf * 删除过去拷贝的文件
#cp /etc/nginx/conf.d/default.conf nginx.web.conf
#cp /etc/nginx/conf.d/default.conf nginx.rproxy.conf
#vim nginx.web.conf 稍作修改
  server_name  node3.linux.com;
#vim nginx.rproxy.conf 稍作修改
   proxy_pass http://172.16.0.1;
#cd /etc/puppet/modules/nginx/templates
#cp /etc/nginx/nginx.conf . 提供一个模板文件
#vim nginx.conf 修改如下内容
 worker_processes  <%= @processorcount %>;
# mv nginx.conf nginx.conf.erb


    2 创建父类

     

# cd /etc/puppet/modules/nginx/manifests
# vim init.pp
class nginx {
      package {‘nginx‘:
           ensure => present,
      }
      file {‘nginx.conf‘:
           ensure => file,
           content => template(‘nginx/nginx.conf.erb‘),
           path   => ‘/etc/nginx/nginx.conf‘,
           require => Package [‘nginx‘],
           mode   => ‘0644‘,
      }
}


    3、定义两个子类 nginx::web  nginx::rproxy


    nginx::web

# cd /etc/puppet/modules/nginx/manifests
# vim web.pp
class nginx::web inherits nginx {
        file {‘nginx.web.conf‘:
           ensure => file,
           source => "puppet:///modules/nginx/nginx.web.conf",
           path   => "/etc/nginx/conf.d/default.conf",
           require => Package[‘nginx‘],
           mode   => ‘0644‘,
         }
         service {‘nginx‘:
            ensure => true,
            enable => true,
             restart => ‘/etc/init.d/nginx reload‘,
            subscribe => File[‘nginx.conf‘,‘nginx.web.conf‘],
         }
}


    nginx::rproxy

   

#cd /etc/puppet/modules/nginx/manifests
# vim rproxy.pp
class nginx::rproxy inherits nginx {
        file {‘nginx.rproxy.conf‘:
           ensure => file,
           source => "puppet:///modules/nginx/nginx.rproxy.conf",
           path   => "/etc/nginx/conf.d/default.conf",
           mode   => ‘0644‘,
           notify => Service[‘nginx‘],
         }
         service {‘nginx‘:
            ensure => true,
            enable => true,
             restart => ‘/etc/init.d/nginx reload‘,
            subscribe =>File[‘nginx.conf‘,‘nginx.rproxy.conf‘],
         }
}


    应用测试子类nginx::web

   

先卸载掉nginx
# rpm -e nginx
# rm -rf /etc/nginx/ 删除目录
# puppet apply -d -v -e ‘include nginx::web‘
# cat /etc/nginx/nginx.conf | grep worker_processes
  worker_processes  2;
根据 <%= @processorcount %>变量调用当前cpu的核心数
# cat /etc/nginx/conf.d/nginx.conf
  server_name  node3.linux.com;
####我们修改的nginx.wen.conf 也应用上来了,一切正常

   

   


五、master/agent 架构


   即主从模式下工作

   agent每隔30分钟向master发出请求,查看适用于自己的清单是否发生改变;

   wKioL1N4kCrAw-BSAAIG_O4CjXs986.jpg


    注意事项:

    1 master/agent 架构中,各个节点必须能够解析到彼此的主机名;

      标准的主机名命名方式为:

        角色名-运营商-机房名-机器IP.域名

        例如:web-CNC-ShangHai-1.1.1.1.jungege.com

    2 各个节点要做到时间同步;


  1)安装

     配置epel的yum源,使用yum命令安装

     环境搭建:

       puppet-master 172.16.13.2 node2.linux.com

       puppet-agent  172.16.13.3 node3.linxu.com

 


     安装puppet服务器端

     #yum  -y install puppet-server

     

     安装puppet客户端

     #yum -y install puppet

   2)解析双方主机

     解析双方主机,可以使用DNS和hosts文件,我们直接使用host解析的方式经I系那个

     建议的主机命名方式

        角色名-运营商-机房名-机器ip.域名

   

     

   3)master服务器配置

      初始化

     

#puppet master --daemonize -d -v
info: Creating a new SSL key for ca
info: Creating a new SSL certificate request for ca
info: Certificate Request fingerprint (md5): FA:B1:10:A7:AD:EA:8B:83:04:A1:3B:F8:4F:77:85:92
notice: Signed certificate request for ca
notice: Rebuilding inventory file
debug: Using cached certificate for ca
info: Creating a new certificate revocation list
info: Creating a new SSL key for node2.linux.com
debug: Using cached certificate for ca
info: Creating a new SSL certificate request for node2.linux.com
info: Certificate Request fingerprint (md5): 63:26:1D:A0:B9:D7:F4:0C:A7:E0:C4:59:8D:D9:04:19
notice: node2.linux.com has a waiting certificate request
debug: Using cached certificate for ca
debug: Using cached certificate_request for node2.linux.com
notice: Signed certificate request for node2.linux.com
notice: Removing file Puppet::SSL::CertificateRequest node2.linux.com at ‘/var/lib/puppet/ssl/ca/requests/node2.linux.com.pem‘
notice: Removing file Puppet::SSL::CertificateRequest node2.linux.com at ‘/var/lib/puppet/ssl/certificate_requests/node2.linux.com.pem‘
notice: Starting Puppet master version 2.7.23

 

         定义配置文件

         

#puppet  master genconfig >> /etc/puppet/puppet.conf         qi


    启动服务

   

# service puppetmaster start
# ss -ntlp
默认侦听在8140端口


    同步时间

    # ntpdate time.windows.com


   4)配置puppet客户端


     puppet agent在首次启动时,会像指定的puppet srver申请证书,并完成后续的连接请求,由于我们只是测试,接入当前puppet集群中的首个agent节点可以以非守护进程的方式运行,并观察其启动过程

     

# puppet  agent --server node2.linux.com --no-daemonize --debug
info: Creating a new SSL key for node2.linux.com
info: Caching certificate for ca
info: Creating a new SSL certificate request for node2.linux.com
info: Certificate Request fingerprint (md5): BC:B2:36:9F:B5:78:CD:60:1E:72:9A:D5:88:DE:4B:57


   此时,在puppet服务器段使用puppet cert命令管理客户端的证书请求,--list选项能够查看等待签署证书的客户端列表,而--sign选项可以用于为指定节点签署证书,如果要一次性地对多个节点申请进行签署可以使用--all选项

   

# puppet cert list
  "node3.linux.com" (A0:DA:47:AD:A5:AF:0F:89:54:31:50:A3:FB:BE:50:C0)
# puppet cert sign node3.linux.com
notice: Signed certificate request for node3.linux.com
notice: Removing file Puppet::SSL::CertificateRequest node3.linux.com at ‘/var/lib/puppet/ssl/ca/requests/node3.linux.com.pem

 

   一旦anget节点收到签署过的证书,其将会显示如下信息

   

# puppet agent --no-daemonize -d -v --test
info: Caching certificate for node3.linux.com
notice: Starting Puppet client version 2.7.25

   确保上述agent相关操作,不存在问题后,便可以使用--server选项指定puppet master服务器,并以守护进程的方式启动服务了,其配置文件为/etc/puppet/puppet.conf

 

# echo "server=node2.linux.com" >> /etc/puppet/puppet.conf
# service puppet start
# chkconfig puppet on

   5)site.pp的配置

   在puppet服务器段的/etc/puppet/manifests/中创建site.pp,在master/agent架构中,所有节点访问清单文件的入口为site.pp

   

# vim node3.linux.com.pp 如果有多个节点,就创建多个...
node ‘node3.linux.com‘ {
   include nginx::web
}
# vim site.pp
import "*.linux.com.pp"

   建议:一类节点使用一个清单文件,所有清单文件都在site.pp文件中用import函数包含进来


  6)自动签发证书

   可以设置master自动签发所有节点的证书,只需要在/etc/puppet目录下创建autosign.conf即可

   

# echo "*.linux.com." > /etc/puppet/autosign.conf
这样就会对所有来自autosign.conf的机器请求自动签署证书

   

  7)puppet kick推送功能的实现


    puppet客户端默认每30分钟向服务器申请一次,有的特殊情况需要立刻生效,则需要puppet kick将当前配置推送给客户端,立刻实现目标状态的改变

   ① 编辑客户端配置文件/etc/puppet/puppet.conf 在[agent]段添加如下内容

# echo "listen=true" >> /etc/puppet/puppet.conf
# ss -ntl
默认侦听在8139端口

   ② 在客户端创建新文件/etc/puppet/namespaceauth.conf

     

[puppetrunner]
allow *.linux.com

     

   ③ 在客户端编辑/etc/puppet/auth.conf文件,添加如下内容


   

path  /run
method save
auth  any
allow *.linux.com


   ④kick推送,在服务器段运行kick子命令

   

# puppet kick -p 10 node.linux.com
Triggering node3.linux.com
Getting status
status is success
node3.linux.com finished with exit code 0
Finished


   ⑤此时就可以在客户端节点查看变化了


    关于puppet-dashboard、foreman、git的使用与配置请参考其他,此处不再做详解





PS:天热了,电脑冒汗了,码字真心慢!


   





本文出自 “西风瘦猪” 博客,请务必保留此出处http://jungege.blog.51cto.com/4102814/1413327