ansible自动化运维工具学习笔记

发布于:2025-03-04 ⋅ 阅读:(18) ⋅ 点赞:(0)

目录

ansible环境部署

控制端准备

被控制端准备

ansible批量管理主机的方式主要有两种

配置准备:

ssh密码认证方式管理机器

密码登录,需要各主机密码相同

配置免密登录

 ssh密钥方式批量管理主机

ansible实现批量化主机管理的模式

ansible-doc命令

command模块

 shell模块

  script模块

  copy模块

 yum_repository模块

yum模块

  systemd模块

  group模块

user模块

date命令:

File模块

cron模块

debug模块

template模块

lineinfile模块

PlayBook

YMAL

Play

ansible变量

全局变量

剧本变量

资产变量

Facts变量

注册变量

变量优先级

任务控制

条件

循环

tags属性

handlers属性:

JinJa2模板

介绍:Jinja2是基于Python书写的模板引擎。

命名:1.jinja2 文件以 .j2 为后缀,也可以不写后缀,

定界符:

判断控制:

循环控制(不可使用break,countinue):

Role

循环方法创建main.yml

role执行:

Galaxy平台

实战:

优化ansible执行速度

1.ssh长连接:

2.开启pipelining:

3.Facts缓存到redis:

自由执行策略

异步执行

插件

回调插件

主输出插件

启用其他内置的回调插件

回调类型

日志回调插件

开发回调插件


ansible基于python编写,主要由python的两个ssh处理模块,paramiko以及pyYAML模块。

ansible环境部署

控制端准备

可使用yum安装方式

 yum -y  install epel-release       # 安装扩展源

 yum install -y ansible libselinux-python         #安装ansible及其所需的系统模块

被控制端准备

 yum -y  install epel-release       # 安装扩展源

 yum install -y libselinux-python          #安装ansible所需的系统模块

ansible批量管理主机的方式主要有两种

传统的输入ssh密码验证,密钥管理

配置准备:

配置好ansible的配置文件,添加被管理机器的ip地址,或者主机名

1.备份现有的配置文件

  cp  /etc/ansible/hosts{.ori}     # 将hosts文件复制到hosts.ori文件中

2.添加ansible需要管理的机器地址

  vim  /etc/ansible/hosts

  # 添加内容

[主机列表模块]

被控制主机的IP

  注意:多台网络号相同的主机可以使用X.X.X.[S:E]格式

ssh密码认证方式管理机器

密码登录,需要各主机密码相同

ansible是直接利用linux本地的ssh服务,以及一些远程操作,一般情况下客户端的ssh服务默认开启,无须额外管理

1, 查看ssh是否开启(一般默认开启)

  systemctl status sshd

2, 在控制端主机上,告诉其他被管理的机器,你要执行什么命令,以及那些用户去执行

  ansible   主机列表模块    -m  功能   -a  "命令" -k  -u  用户

注意:①,主机列表模块不加[]

  ②,当使用all时,所有主机列表模块被选中

  ③,当使用多模块时用‘’括起来,模块之间:

并集  

交集   &

差集   :!

  ④,如果不想使用默认的库存文件位置(通常是/etc/ansible/hosts),可以在/etc/ansible/ansible.cfg中修改,

在使用ansible时可以通过-i指定自定义的库存文件路径(资产)

常用参数

  # -m  指定功能模块,默认就是command,command模块它用于在远程主机上执行命令,除了command模块,还有ping等模块。

  #  -a  告诉模块需要执行的参数

  # -k  询问密码验证

  # -u 指定运行的用户

  # -i指定自定义的库存文件路径

3,如上操作,一般默认情况下会有错误提示,需要执行手动ssh对主机进行连接,及可使用ansible命令操作了

# 远程连接例如

  ssh   root@192.168.47.132

# 可查看

  cat  ~/.ssh/know_hosts

4,此时可以再次执行ansible命令

配置免密登录

当主机密码不同时,可以使用免密登录

        在/etc/ansible/hosts文件中,定义好密码即可,即可实现快速的认证和远程管理主机

 1, 修改hosts文件·

[主机列表模块]

被控制主机的ip  ansible_user=用户名   ansible_ssh_pass=密码

参数

# absible_host             主机地址

# ansible_port             端口,默认是22

# ansible_user             认证的用户

# ansible_ssh_pass      用户认证的密码

2,此时可以不需要输入密码,既可以自动ssh验证通过了

         ansible   主机列表模块   -m  功能   -a  “命令”

 ssh密钥方式批量管理主机

这种方式比配置host文件的密码参数更安全

1.在控制机上创建ssh密钥对

    ssh-keygen  -f   ~/.ssh/id_rsa   -P "" >/dev/null  2>&1

参数

# f    :用于指定生成的密钥对文件的文件名

# P   :用于指定密钥对的密码(口令)。这里设置为空字符串(""),意味着生成的密钥对在使用时不需要输入密码就能被访问和使用

# &1:表示将标准错误输出重定向到和标准输出相同的地方(也就是/dev/null)

2.此时到“cd  ~/.ssh/”下检查公私钥文件:id_rsa    id_ras.pub

3.编写公钥分发脚本

  #!/bin/bash

  rm -rf   ~/.ssh/id_ras*

  ssh-keygen   -f   ~/.ssh/id_rsa   -P "" >/dev/null  2>&1

  SSH_Pass=密码

  Key_Path=~/.ssh/id_rsa.pub

  for   ip  in  132 133                   # 这里的132,133是我的管理主机的最后主机号

  do

# 非交互式分发公钥命令需要用sshpass指定SSH密码,通过-o   StrictHostKeyChecking=no跳过SSH连接确认信息

           sshpass    -p$SSH_Pass    ssh-copy-id   -i    $Key_Path    "-o   StrictHostKeyChecking=no"        192.168.47.$ip

  done

4.运行脚本,使用ansible工具

ansible实现批量化主机管理的模式

主要有两种:

利用ansible的纯命令行实现的批量管理,ad-hoc模式——好比简单的shell命令管理

利用ansible的playbook剧本来实现批量管理,playbook剧本模式——好比复杂的shell脚本

Ad-hoc模式

ansible的ad-hoc模式是ansible的命令行形式,处理一些临时的,简单的任务,可以直接使用ansible的命令行来操作

playbook模式

ansible地playbook莫事是针对比较具体,且比较大的任务,需要写好剧本来实现,比如一键部署rsync备份服务器,lnmp环境。

ansible-doc命令

列出所有的ansible-hoc支持的模块

  ansible-doc    -l  

查看某个模块的具体的用法参数

  ansible-doc   -s   command

command模块

作用:在远程节点上执行一个命令

 ansible-doc   -s    command    # 查看该模块支持的参数

常用参数:

chdir:在执行命令之前,通过cd进入该参数指定的目录

creates:在创建一个文件之前,判断该文件是否存在,如果存在了则跳过前面的东西,如果不存在则执行前面的动作

free_form:该参数可以输入任何的系统命令,实现远程执行和管理

removes:定义了一个文件是否存在,如果存在则执行前面的动作,如果不存在则跳过动作

warn:是否提供告警信息

注意:

command模块是ansible的默认基本模块,可以省略不写,使用command模块,不得出现shell变量$name,也不得出现特殊符号>< | ; &这些符号command模块都不认识,如果需要使用特殊符号,可以使用shell模块。

 shell模块

作用:在远程机器上执行复杂的命令

ansible-doc   -s    shell   # 查看该模块支持的参数

注意:语句之间用;进行分割

  script模块

功能:将控制端的脚本远程传输到被控制主机上运行

对比shell模块。script模块功能更强大

ansible-doc   -s    script   # 查看该模块支持的参数

注意:直接传送脚本名即可

  copy模块

功能:主要用于管理节点和被管理节点之间的文件拷贝

常用参数:

 src 指定拷贝文件的源地址

 dest  指定拷贝文件的目的地址

 backup 拷贝文件前,若被控制主机源文件发生变化,则对目标文件进行备份

 woner 指定新拷贝文件的所有者

 group 指定新拷贝文件的所有组

 mode 指定新拷贝文件的权限

   

 yum_repository模块

功能:添加yum库

常用参数:

 name 仓库名称,就是仓库文件中的第一行的中括号中名称,必须的参数

 description 自定义仓库描述信息,必须的参数

 baseurl  yum存储库‘repodata’目录所在目录的url,必须的参数,它可以是多个url的列表

 file 仓库文件保存到被控制主机的文件名,不包含.repo。默认是name的值

 state  preset确认添加仓库文件,absent确认删除仓库文件

 gpgcheck 是否检查gpg  yes|no ,没有默认值,使用/etc/yum.conf进行配置

yum模块

等同于Linux上的yum命令,对远程服务器上的rpm包进行管理。

常用参数:

 name  要安装的软件包名,多个软件包以逗号隔开

 state 对当前指定的软件安装,移除操作(present  installed  latest absent removed)

         支持的参数

 present 确认已经安装,但不升级

 installed  确认已经安装

 latest   确保安装,且升级为最新

 absent 和removed  确认已移除

安装软件包组

 ansible  列表主机模块  -m  yum   -a   ”name='@Development  tools'   state=present“

 注意:@Development tools是要安装的软件包组的名称。在基于 RPM 的 Linux 系统中,软件包可以分组,Development tools是一个包含了许多开发相关工具(如编译器、调试工具等)的软件包组。

  systemd模块

功能:管理远程主机上的systemd服务,就是由systend所管理的服务

常用参数:

 daemon_reload  重新载入systemd,扫描新的/变动的单元

 enabled  是否开机自启动yes|no

 name 必选项,服务名称,比如httpd  vsftpd

 state 对当前服务执行启动,停止,重启,重新加载等操作(started,stopped,restarted,reloaded)

  group模块

功能:对被控制主机进行组的管理

常用参数:

 name  组名称,必选项

 system  是否为系统组,yes|no,默认为no

 state  删除或者创建,present/absent,默认是present

user模块

功能:用于管理被管理结点上的用户

常用参数:

name:必选项,指定用户名

password:设置用户密码,接受的是一个加密的值,会直接存到shadow,默认不设置密码

update_password:更新密码

home:指定用户家目录

shell:设置用户的shell

comment:用户的描述信息

create_home:在创建用户时,是否创建其家目录,默认创建,不创建设置为no

group:设置用户的主组

groups:将用户加入到其他组,逗号分开,默认会把用户从原组删除

append:与groups配合使用,yes时,不会将用户从原组删除

system:设置为yes时,将会创建一个系统账号

expires:设置用户的过期时间,值为时间戳,会转为天数后放在shadow的最后第8个字段里

generate_ssh_key:设置为yes将会为用户生成密钥。不会覆盖原来密钥

ssh_key_type:指定用户的密钥类型,默认为rsa,具体的类型取决于被管理结点

state:删除或添加用户,yes为添加,absent为删除,默认为yes

remove:当与state=absent一起使用,删除一个用户及关联目录,可选值为yes/no

date命令:

// 计算 3 小时之后是几点几分

# date +%T -d  '3 hours'

//任意日期的前 N天,后 N 天的具体日期

# date +%F -d"20190910 1 day"

# date +%F -d"20190910 -1 day

//计算两个日期相差天数,比如计算生日距离现在还有多少天

# d1=$(date +%s -d 20180728)

#d2=$(date +%s -d 20180726)

#echo s(((d1-d2)/86400))

File模块

功能:用于远程主机上的文件操作

常用参数:

owner:定义文件/目录的属主

group:定义文件/目录的属组

mode:定义文件/目录的权限

path:必选项,定义文件/目录的路径

recurse:递归的设置文件的属性,只对目录有效

src:链接(软/硬)文件的源文件路径,只应用于state=link的情况

dest:链接文件的路径,只应用于state=link的情况

state:

directory:如果目录不存在,创建目录

file:文件不存在,则不会被创建,存在则返回文件的信息,常用于检查文件是否存在。

link:创建软连接

hard:创建硬连接

touch:文件不存在,则会创建一个新的文件,文件或目录存在,则更新其最后修改时间

absent:删除目录,文件或者取消链接文件

cron模块

功能:管理远程节点的cron服务,等同于Linux中的计划任务

注意:使用Ansible创建的计划任务,是不可使用本地的crontab -e去编辑,否则Ansible无法再次操作次计划任务

常用参数:

name:指定一个cron job名字,便于删除

minute:指定分钟,可以设置(0-59,*,*/2等),默认是*。表示每分钟。

hour:每小时。可设置(0-23,*,*/2等),默认是*,表示每天。

month:指定月份,可设置(1-12,*,*/2等),默认是*,每周

weekday:指定月份,可设置(0-6 for Sunday-Saturday,*等),默认*,每星期

job:指定要执行的内容,通常可以写脚本或内容。

state:指定job状态,新增present/删除absent,默认present。

验证cron:

crontab -l

debug模块

功能:debug模块主要用于调试时使用,通常的作用是将一个变量的值给打印出来

常用参数:

var:直接打印一个指定的变量值,变量不用加双引号。

msg:打印一段可以格式化的字符串

template模块

功能:加强版copy,可以进行文档内变量的替换

常用参数:

src:指定ansible控制端的文件路径

dest:指定ansible被控端的文件路径

owner:指定文件属主

group:指定文件属组

mode:指定文件的权限

backup:创建一个包含时间戳信息的备份文件,yes/no

lineinfile模块

功能:在被管理节点上,用正则匹配对目标文件的一行内容修改删除等操作

常用参数:

path:目标文件路径,必须项。

state:可选值absent删除|present替换(默认值)

regexp:在文件的每一行查找的正则表达式,对于state=present,仅找到的最后一行被替换

line:要在文件中插入/替换的行,需要state=present

create:文件不存在时,是否要创建文件并添加内容,yes/no。

# ansible all -m lineinfile -a 'path=/etc/selinux/config regexp="^SELINUX=" line="SELINUX=disabled" state=present'

PlayBook

YMAL

PlayBook遵循YAML的语法格式。

yaml特点

Yaml 文件以 # 为注释符

Yaml 文件以  .yml 或者 .yaml结尾

Yaml 文件以 --- 开始,以 …结束,开始和结束标志都是可选的

yaml基本语法

区分大小写

使用缩进表示层级关系

缩进时,使用tab键或者空格键一定要达到统一

相同层级的元素必须左侧对齐即可

yaml支持的数据结构有三种

字符串  YAML中的字符串可以不使用引号,语句为表述完可进行折行

列表    格式 ‘以短横线开头+空格+具体的值’,一个短横线是一个列表元素

字典    格式:‘key+冒号(:)+空格+值(value),即key:value’

yaml语法测试

 python3 -c 'import yaml,sys;print(yaml.safe_load(sys.stdin))' < yml文件

Play

定义Play

每个Play都是以短横杠开始的

每个Play都是一个YAML字典格式

常用属性

name: 每个play的名字

hosts: 每个play涉及的被管理服务器,同ad-hoc中的资产选择器

tasks: 每个play中具体要完成的任务,以列表的形式表达

become:如果需要提权,则加上become相关属性

becom_user: 若提权的话,提权到哪个用户上

remote_user: 在远程服务器上执行具体操作的用户。若不指定,则默认使用当前执行ansible  Playbook的用户

一个完整的playbook

对Playbook进行语法校验

下面校验的方法,只能校验PlayBook是否正确,而不能校验YAML文件是否语法正确

ansible-playbook  playbook文件名    --syntax-check

可以安装yamllint进行校验YAML语法

pip3  install yamllint

yamlint  文件名

运行PlayBook

ansible-playbook   playbook文件名

单步跟从调试PlayBook

//执行task中的任务,需要手动确认是否往下执行

 ansible-playbook   playbook文件名    --step

测试运行PlayBook

会在本机上模拟执行所有过程

 ansible-playbook  playbook文件名   -C

ansible变量

在ansible中,使用双花括号 {{ }} 来引用变量

全局变量

通过命令行参数,使用-e参数在执行ansible命令时传递全局变量

剧本变量

通过play属性vars/vars_files定义

在play使用{{变量名}}引用变量,当为字典中的vlaue值时需要加上双引号(与字典进行区分)。

资产变量

主机变量和主机组变量

主机变量优先级高于主机组变量

Facts变量

它的声明和赋值完全由ansible中的setup模块帮助我们完成,收集了有关被管理服务器的操作系统版本,服务器IP地址,主机名,磁盘的使用情况,

cpu个数,内存大小等有关被管理服务器的私有信息。

语法:ansible 主机列表  -m  setup

可以通过Facts模块中的filter参数去过滤我们想要的信息。

例如过滤内存信息

在PlayBook运行的时候都会发现在PlayBook执行前都会有一个Gathering Facts的过程,这个过程就是收集被管理服务器的Facts信息过程。

例如获取地址

注意:获取Facts信息时,需要先获取最外层一般以ansible开头,内部值引用若为列表则".下标",字典则“.key”

若在整个PlayBook的执行过程中,完全未使用过Facts变量,此时可以将其关闭以加快PlayBook的执行速度。

 # 关闭facts变量收集功能

  gather_facts: no

注册变量

将此次task任务的结果作为条件,去判断是否去执行其他task任务;

注册变量在PlayBook中通过register关键字去实现。

变量优先级

全局变量>剧本变量>资产变量

任务控制

条件

用when实现条件判断

when支持如下运算符:

==,!=,>/<,>=/<=,is defined,is not defined,true,flase,and,or

循环

在PlayBook中使用with_items/loop去实现循环控制,且循环时的中间变量(shell循环中的$i变量)只能是关键字item(每次循环的值由item接受),不能随意自定义。

tags属性

解决的问题:对某些具体的任务执行,而不用执行整个PlayBook剧本,降低变更风险和范围

使用:

在playbook具体任务下一定要指定tags属性,这样在执行的过程中只执行task任务上打上tags标记的任务

执行语法:ansible-playbook     剧本名   -t  tags标记名

handlers属性:

解决问题:与notify配合使用,当某任务发生改变,通过notify通知去触发handlers(与tasks平级)下的任务。

JinJa2模板

介绍:Jinja2是基于Python书写的模板引擎。

命名:1.jinja2 文件以 .j2 为后缀,也可以不写后缀,

定界符:

注释: {# 注释内容 #}

变量引用: {{ var }}

逻辑表达: {% %}

判断控制:

{%if%}

{%else if%}

{%end if%}

循环控制(不可使用break,countinue):

{%for ….in…%}

{%end for%}

Role

role就是一个目录,将一个PlayBook拆分成不同子目录,目录名就是role名,role下会有子目录,每个子目录包含一个‘main.yml’文件,

循环方法创建main.yml

 for  d  in `ls` ; do ; touch ${d}/main.yml ; done

这个文件应该包含以下名称对应的内容:

tasks -包含角色要执行的任务的主要列表

handlers-包含处理程序,此角色甚至该角色之外的任何地方都可以使用这些处理程序。

defaults-角色的默认变量。

vars-角色的其他变量,

files -包含可以通过此角色部署的文件

templates -包含可以通过此角色部署的模板。

meta -为此角色定义一些元数据

角色必须至少包含这些目录之一,但是最好排除任何未使用的目录

role执行:

role 本身不能被直接执行,需要借助playBook进行间接的调用。

  • name: a playbook used role

        hosts: all

        roles :

           - 角色名

Galaxy平台

功能:获取需要的role。https://galaxy.ansible.com/

常用指令

//在galaxy 上搜索共享的ROLE

# ansible-galaxy search  名称

//安装 galaxy 上共享的 ROLE

# ansible-galaxy install  名称

//列举已经通过 ansible-galaxy 工具安装的ROLE#

 ansible-galaxy list 

//创建一个ROLE 的空目录架构,这样我们在开发一个ROLE的时候,就不需要手动创建目录了。

# ansible-galaxy init   --offline

实战:

优化ansible执行速度

1.ssh长连接:

进/etc/ansible/ansible.cfg修改ControlPersist时间,使用ss -natp | grep -E 'ESTAB.*ssh'查看连接情况

2.开启pipelining:

进/etc/ansible/ansible.cfg修改pipelining = True,执行剧本时-vvv发现无put操作

3.Facts缓存到redis:

安装redis,安装 Redis Python 客户端pip install redis

进/etc/ansible/ansible.cfg

修改收集类型gathering = smart(缓存后不再收集),

设置缓存后端为 fact_caching = redis

修改fact_caching_connection= 服务器ip:6379:0(参考注释修改),

fact_caching_timeout=缓存过期时间

进/etc/redis.conf中bind=0.0.0.0(允许所有 IP 访问),重启redis

自由执行策略

允许 Ansible 同时在所有目标主机上独立执行任务(并行)。每台主机完成一个任务后,会立即开始执行下一个任务,而不必等待其他主机完成当前任务。

适用场景:适用于任务之间相互独立,且希望尽快完成所有主机上任务的场景,例如批量安装软件包。运行时,加-f 选项用于控制并行执行的进程数量

配置:进入ansible.cfg修改strategy = free

异步执行

 当执行耗时较长的任务时,无需等待任务完成,ansible可以继续处理其他事务。

参数:

async:用于指定任务的最大执行时间(以秒为单位)。如果任务在这个时间内没有完成,ansible 会将其标记为失败。

poll:用于指定 ansible 检查任务状态的间隔时间(以秒为单位)。如果设置为 0,表示不主动检查任务状态,而是让任务在后台异步运行,之后可以通过 async_status 模块手动检查任务状态

插件

回调插件

查看回调插件:ansible-doc -t callback -l

查看json回调插件:ansible-doc -t callback  json

主输出插件

同时只能有一个回调插件作为主输出插件,如果想替换,在 ansible.cfg 中配置 stdout 插件(标准输出)。

stdout_callback = json       #以JSON的格式输出结果,也可其他

或使用自定义的回调 stdout_callback = mycallback

默认情况下仅对playbook生效,若让ad-hoc方式生效在ansible.cfg种修改bin_ansible_callbacks = True

启用其他内置的回调插件

大部分情况下,无论是内置的回调插件还是自定义的回调插件,都需要在ansible.cfg 中添加到白名单中,才能启用。

callback_whitelist=timer,mail,profile roles,custom callback

timer :计算整个 playbook 的运行时间

mail: 实现发送邮件的功能

profile_roles :统计任务执行时间

custom callback是自定义的插件

注意:profiles_roles总时间超过timer总时间可能是由于并行机制的影响,profile_roles中时间是任务的时间累加,而实际执行会并行。

回调类型

不同的回调类型对于 playbook 的输出有不一样的效果

stdout 标准输出类型,用在回调的主管理者

aggregate聚合类型,把此类型插件处理的结果和stdout 类型插件合并一起输出到标准输出。比如:timer,profile_tasks 等。

notification 通知类型,不参与标准输出,也不影响标准输出插件的正常输出,只是会把执行 playbook的返回值写的指定的媒介中。

比如:log_plays,mail。假如自定义把执行playbook 的结果输出到数据库中就可以使用此类型。

日志回调插件

内置的回调查看log_plays会将playbook的返回信息到默认路径/var/log/ansible/hosts目录中。

以下方法可通过ansible-doc -t callback  log_plays进行查看

方法1:使用系统变量指定日志路径 export  ANSIBLE_LOG_FOLDER=日志存储路径,并加入白名单

方法2:在ansible.cfg中进行配置,并加入白名单

[callback_log_plays]

log_folder = 日志存储路径

查看文档:

开发回调插件

规则

1,使用兼容的python版本进行编写

2,遇到问题,主动抛出异常

3,返回以unicode编码的字符串,主要是兼容JinJa2

4,符合ansible的配置和文档标准,可以通过ansible.cfg进行配置

开发mysql_plays插件

数据库准备:

create database if not exists ansible default charset utf8mb4 collate utf8mb4_general_ci;

create user 'ansible'@'%' identified with mysql_native_password by 'Aa!123456';

grant all on ansible.* to 'ansible'@'%';

mysql> create table if not exists playsresult(

    -> id int auto_increment primary key,

    -> user varchar(16) not null,

    -> host varchar(32) not null,

    -> category varchar(11) not null,

    -> result text,

    -> create_time datetime not null default current_timestamp

    -> );

log_plays文档改写:

1.获取文档:按上述日志回调插件查看文档方法获取文档

2.进行改写,改option选项,通过异常判断pymsql还是MySQL库,定义mysql连接函数,定义execute_sql函数

3.改写完成保存到/root/.ansible/plugins/callback/目录下

ansible.cfg配置:

将插件写入白名单,并将ini写入

验证:

ansible-doc -t callback mysql_plays