首页 > 代码库 > Ceph配置参数（三）

Ceph配置参数（三）

2024-08-07 12:13:01   219人阅读

Ceph配置参数（一）

Ceph配置参数（二）


8、MONITOR CONFIG REFERENCE
http://ceph.com/docs/master/rados/configuration/mon-config-ref/
        客户端在读写数据前，都比去和monitor取得联系，获得cluster map，结合CRUSH算法计算得到对象的位置。
（1）最小配置
        生成一个fsid和monitorde的最小配置，配置字段[mon]或[mon.a]，ceph监视器默认监听6789端口。
  • 主机名（e.g. mon host = hostname1,hostname2,hostname3）： mon host
  • 主机IP（e.g. mon addr = 10.0.0.10:6789,10.0.0.11:6789,10.0.0.12:6789）：mon addr
（2）初始成员
        必须是个奇数，表示一个初始的最小monitor数，active的monitor达到这个数才能启动。
  • 初始monitor成员ID： mon initial members
（3）数据
        monitor存储数据的路径，因为monitor也是在节点上的，monitor会做很多fsync()操作，影响OSD的工作负载，在0.58以前的版本中，monitor的数据是以文件形式存放的，可以用ls，cat等命令直接查看，但是一致性难以保障。之后的版本，数据以key/value的形式存放，并且需要原子性操作，保证一致性，数据保存路径不建议改动。
  • monitor数据保存路径（e.g. /var/lib/ceph/mon/$cluster-$id）：mon data
（4）存储容量
        当集群的使用率接近"最大容量"时，monitor会阻止对OSD的读写请求以避免数据丢失，考虑到多个主机可能同时断电造成集群容量剧减，这个"最大容量"通常小于实际的集群总容量，配置段位[global]。
  • 被认为集群已满的最大使用百分比（默认.95）：mon osd full ratio
  • 被认为集群接近已满的最大使用百分比（默认.85）：mon osd nearfull ratio
（5）monitor间的同步
       集群间存在多Monitor共同工作时，存在同步的问题，不必每个monitor都active集群才工作，只要达到最小可工作数量就行了，这个数量在mon initial members中规定，所以有可能一些mon在某一时刻不工作，后来恢复正常后状态就落后了。monitor三种角色：leader，最先获得最新的cluster map；provider，拥有最新的cluster map，但不是最先获得的；requester，状态落后，必须同步后方可工作。
        在一个同步过程中，requester向leader请求同步，leader负责分派同步工作给provider，并告知requester去找provider，这样做分摊了工作负载。provider以chunk为单位发给requester最新的状态数据，同步完后，requester告知leader完成，leader恢复一个ACK宣布同步结束。
        同步总是在一个新的monitor加入集群时发生。在运行过程中，cluster map不断更新，这三个角色也不断变化，如果provider接受到同步任务但自身状态落后于leader时，它可以终止同步并告知leader。同步完成后，ceph发出一个trimming，这个操作大概是修剪多余的状态数据，并且这个操作必须在PG状态是active+clean时进行。
  • trimming操作超时（默认30s）：mon sync trim timeout
  • 同步时心跳超时（monotor之间的心跳检查，默认30s）：mon sync heartbeat timeout
  • 同步时心跳检查间隔（默认5s）：mon sync heartbeat interval
  • 同步超时（默认30s）：mon sync timeout
  • 同步最大重试次数（默认5）：mon sync max retries
  • 同步最大负载量（默认1045676）：mon sync max payload size
  • leader等待requester同步的最大时间（默认10s）：mon accept timeout
  • map更新前收集更新信息的时间间隔（默认1s）：paxos propose interval
  • 收集更新信息的最小时间（默认0.05s）：paxos min wait
  • trimming操作前能容忍的最大proposal数（默认30）：paxos trim tolerance
  • 未trimming时最大的版本数（默认100）：paxos trim disabled max versions
  • Monitor版本租约秒数（默认5）：mon lease
  • leader去更新其他monitor租约的时间间隔数（默认3s）：mon lease renew interval
  • leader等待provider告知其版本的秒数：mon lease ack timeout
  • OSD map维持的最小版本号数量（默认500）：mon min osdmap epochs
  • monitor维护的最多的PG map版本号数量（默认500）：mon max pgmap epochs
  • monitor保留的最大的log版本号数量（默认500）：mon max log epochs
（6）时钟
        不同节点间时钟应该同步，否则一些超时和时间戳相关的机制将无法正确运行，运行又monitor的节点还需要安装NTP来同步时钟。然而NTP 级别的时钟同步还不够，即使NTP同步好，ceph也会报出时钟偏移警告，工作量，网络延迟，配置覆盖等也会对同步有影响。
  • 相对于系统时间的偏移：clock offset
  • monitor计时间隔秒数（默认5）：mon tick interval
  • monitor间的clock drift（时钟嘀嗒数？，默认.05s）：mon clock drift allowed
  • 时钟偏移补偿指数（默认5）：mon clock drift warn backoff
  • leader时间检查间隔（默认300s）：mon timecheck interval
（7）客户端
  • 客户端每隔Ns尝试一个Monitor直到建立连接（默认3）：mon client hung interval
  • 客户端每个Ns会去ping一个monitor（默认10）：mon client ping interval
  • 每一个客户端信息产生的log entires数（默认1000）：mon client max log entries per message
  • 内存中的客户端信息数据大小（默认100ul << 20）：mon client bytes
（8）杂项
  • 集群允许的最大OSD数量（默认10000）：mon max osd
  • 集群为客户端和daemon预分配的全局ID数量（默认100）：mon globalid prealloc
  • 写了这么多个对象后和底层文件系统同步一次（默认5）：mon sync fs threshold
  • subscription 间隔秒数（默认500）：mon subscribe interval
  • 使最近的N个PGmap统计数据呈现平滑趋势（默认2）：mon stat smooth intervals
  • monitor在bootstrapping前寻找其他Monitor的时间（默认2s）：mon probe timeout
  • 元数据和OSD信息可以在内存中驻留的信息大小（默认400ul << 20byte）：mon daemon bytes
  • 每个事件最大的log entries数（默认4096）：mon max log entries per event

9、Heartbeat Settings
        OSD靠定期检查heartbeat来确认相邻的OSD有没有down，以及在peer过程中检查错误和向monitor汇报自身情况，包括故障发生，PG状态改变，以及检查monitor有没有down。
http://ceph.com/docs/master/rados/configuration/mon-osd-interaction/
（1）MONITOR SETTINGS
  • 向monitor报告down的最小OSD数（默认1）：mon osd min down reporters
  • OSD向monitor报告OSD down的最小次数（默认3）：mon osd min down reports
  • 宣布一个无响应的OSD down的超时（默认900）：mon osd report timeout
  • 自动标记为out的最大的CRUSH单位类型（默认rack）：mon osd downout subtree limit
        注：是不是说最大可以标记一个机架out了？
  • 标记一个OSD状态为down和out之前ceph等待的秒数（默认300）：mon osd down out interval
  • 自动标记一个新加入的OSD状态为in（默认true）：mon osd auto mark new in
  • 自动标记启动中的OSD状态为in（默认为false）：mon osd auto mark in
  • 标记在启动过程中被自动标记为out的OSD状态为in（默认true）：mon osd auto mark auto out in
  • The minimum ratio of up Ceph OSD Daemons before Ceph will mark Ceph OSD Daemons down（默认.3）：mon osd min up ratio
  • The minimum ratio of in Ceph OSD Daemons before Ceph will mark Ceph OSD Daemons out（默认.3）：mon osd min in ratio
  • The number of seconds laggy estimates will decay（默认60*60）：mon osd laggy halflife
  • The weight for new samples in laggy estimation decay（默认0.3）：mon osd laggy weight
  • If set to true, Ceph will scale based on laggy estimations（默认true）：mon osd adjust heartbeat grace
  • The weight for new samples in laggy estimation decay（默认.3）：mon osd laggy weight
（2）OSD SETTINGS
  • 心跳检查的OSD网络地址（默认主机IP）：osd heartbeat address
  • OSDping它的peer的时间间隔（默认6s）：osd heartbeat interval
  • OSD心跳停止间隔（默认20s）：osd heartbeat grace
  • OSD ping一个monitor的时间间隔（默认30s）：osd mon heartbeat interval
  • OSD报告monitor前等待的最大时间（默认120s）：osd mon report interval max
  • OSD报告monitor前等待的最小时间（默认5s）：osd mon report interval max
  • monitor恢复ACK的超时（默认30s）：osd mon ack timeout

10、网络配置
http://docs.ceph.com/docs/master/rados/configuration/network-config-ref/
（1）集群网络配置
        配置字段为[global]
  • 公共网络：public network
  • 私有网络：cluster network
        注：建议私有地址和internet还有公共网络部能互通，这个地址用来做OSD的心跳检查，对象的复制和恢复，单独配置私有地址而不是用公用网络做这些对性能有提升。
（2）monitor网络配置
        配置字段[mon.a]
  • 主机名（不要使用loaclhost）：host
  • monitor 地址：mon addr
（3）OSD网络配置
        配置字段[osd.0]
  • 公共地址：public addr 
  • 私有地址：cluster addr
（4）绑定
  • OSD和MDS进程绑定的最小端口号（默认6800）：ms bind port min
  • OSD和MDS进程绑定的最大端口号（默认：7100）：ms bind port max
  • 允许进程使用IPV6的地址（默认false）：ms bind ipv6
（5）TCP
  • 开启nodelay选项（默认true）：tcp nodelay
        注：ceph默认关闭了TCP的buffering，使得请求不缓存立即下发，这样增加了网络流量，增加了延迟如果你要传输大量小文件，就把这个选项关了吧。
  • 收到网络连接终止时socket缓冲区大小（默认关闭）：tcp rcvbuf
  • tcp读超时（默认900s）：ms tcp read timeout
        注：一个客户端请求另一个ceph daemon时需要新建立一个连接，但是又不想关闭现在的连接，现在的连接就不用了，过了这么多秒后，这个连接被标记为空闲状态。

Ceph配置参数（三）


联系
我们