首页 > 代码库 > (转) 分布式文件存储FastDFS(七)FastDFS配置文件详解
(转) 分布式文件存储FastDFS(七)FastDFS配置文件详解
http://blog.csdn.net/xingjiarong/article/details/50752586
配置FastDFS时,修改配置文件是很重要的一个步骤,理解配置文件中每一项的意义更加重要,所以我参考了大神的帖子,整理了配置文件的解释。原帖如下:http://bbs.chinaunix.net/thread-1941456-1-1.html,因为原帖中的版本比较早,所以我针对现有的版本进行了修改,原帖中没有client.conf的介绍,这里我给加上了。
下文中带有注释的配置文件下载:http://download.csdn.net/detail/xingjiarong/9445515
一、tracker.conf
# 这个配置文件是否无效,false表示有效# is this config file disabled# false for enabled# true for disableddisabled=false# 是否绑定IP# bind_addr= 后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。如果不填则表示所有的(一般不填就OK)# bind an address of this host# empty for bind all addresses of this hostbind_addr=# 提供服务的端口# the tracker server portport=22122# 连接超时时间,针对socket套接字函数connect# connect timeout in seconds# default value is 30sconnect_timeout=30# tracker server的网络超时,单位为秒。发送或接收数据时,如果在超时时间后还不能发送或接收数据,则本次网络通信失败# network timeout in seconds# default value is 30snetwork_timeout=60# the base path to store data and log filesbase_path=/home/yuqing/fastdfs# base_path 目录地址(根目录必须存在,子目录会自动创建)# 附目录说明: # tracker server目录及文件结构:# ${base_path}# |__data# | |__storage_groups.dat:存储分组信息# | |__storage_servers.dat:存储服务器列表# |__logs# |__trackerd.log:tracker server日志文件#数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。#storage_groups.dat中的字段依次为:# 1. group_name:组名# 2. storage_port:storage server端口号#storage_servers.dat中记录storage server相关信息,字段依次为:# 1. group_name:所属组名# 2. ip_addr:ip地址# 3. status:状态# 4. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器# 5. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)# 6. stat.total_upload_count:上传文件次数# 7. stat.success_upload_count:成功上传文件次数# 8. stat.total_set_meta_count:更改meta data次数# 9. stat.success_set_meta_count:成功更改meta data次数# 10. stat.total_delete_count:删除文件次数# 11. stat.success_delete_count:成功删除文件次数# 12. stat.total_download_count:下载文件次数# 13. stat.success_download_count:成功下载文件次数# 14. stat.total_get_meta_count:获取meta data次数# 15. stat.success_get_meta_count:成功获取meta data次数# 16. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)# 17. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)# 系统提供服务时的最大连接数。对于V1.x,因一个连接由一个线程服务,也就是工作线程数。# 对于V2.x,最大连接数和工作线程数没有任何关系# max concurrent connections this server supportedmax_connections=256# work thread count, should <= max_connections# default value is 4# since V2.00# V2.0引入的这个参数,工作线程数,通常设置为CPU数work_threads=4# 上传组(卷) 的方式 0:轮询方式 1: 指定组 2: 平衡负载(选择最大剩余空间的组(卷)上传)# 这里如果在应用层指定了上传到一个固定组,那么这个参数被绕过# the method of selecting group to upload files# 0: round robin# 1: specify group# 2: load balance, select the max free space group to upload filestore_lookup=2# 当上一个参数设定为1 时 (store_lookup=1,即指定组名时),必须设置本参数为系统中存在的一个组名。如果选择其他的上传方式,这个参数就没有效了# which group to upload file# when store_lookup set to 1, must set store_group to the group namestore_group=group2# 选择哪个storage server 进行上传操作(一个文件被上传后,这个storage server就相当于这个文件的storage server源,会对同组的storage server推送这个文件达到同步效果)# 0: 轮询方式 # 1: 根据ip 地址进行排序选择第一个服务器(IP地址最小者)# 2: 根据优先级进行排序(上传优先级由storage server来设置,参数名为upload_priority)# which storage server to upload file# 0: round robin (default)# 1: the first server order by ip address# 2: the first server order by priority (the minimal)store_server=0# 选择storage server 中的哪个目录进行上传。storage server可以有多个存放文件的base path(可以理解为多个磁盘)。# 0: 轮流方式,多个目录依次存放文件# 2: 选择剩余空间最大的目录存放文件(注意:剩余磁盘空间是动态的,因此存储到的目录或磁盘可能也是变化的)# which path(means disk or mount point) of the storage server to upload file# 0: round robin# 2: load balance, select the max free space path to upload filestore_path=0# 选择哪个 storage server 作为下载服务器 # 0: 轮询方式,可以下载当前文件的任一storage server# 1: 哪个为源storage server 就用哪一个 (前面说过了这个storage server源 是怎样产生的) 就是之前上传到哪个storage server服务器就是哪个了# which storage server to download file# 0: round robin (default)# 1: the source storage server which the current file uploaded todownload_server=0# storage server 上保留的空间,保证系统或其他应用需求空间。可以用绝对值或者百分比(V4开始支持百分比方式)。#(指出 如果同组的服务器的硬盘大小一样,以最小的为准,也就是只要同组中有一台服务器达到这个标准了,这个标准就生效,原因就是因为他们进行备份)# reserved storage space for system or other applications.# if the free(available) space of any stoarge server in # a group <= reserved_storage_space, # no file can be uploaded to this group.# bytes unit can be one of follows:### G or g for gigabyte(GB)### M or m for megabyte(MB)### K or k for kilobyte(KB)### no unit for byte(B)### XX.XX% as ratio such as reserved_storage_space = 10%reserved_storage_space = 10%# 选择日志级别#standard log level as syslog, case insensitive, value list:### emerg for emergency### alert### crit for critical### error### warn for warning### notice### info### debuglog_level=info# 操作系统运行FastDFS的用户组 (不填 就是当前用户组,哪个启动进程就是哪个)#unix group name to run this program, #not set (empty) means run by the group of current userrun_by_group=# 操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)#unix username to run this program,#not set (empty) means run by current userrun_by_user=# 可以连接到此 tracker server 的ip范围(对所有类型的连接都有影响,包括客户端,storage server)# allow_hosts can ocur more than once, host can be hostname or ip address,# "*" means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or# host[01-08,20-25].domain.com, for example:# allow_hosts=10.0.1.[1-15,20]# allow_hosts=host[01-08,20-25].domain.comallow_hosts=*# 同步或刷新日志信息到硬盘的时间间隔,单位为秒# 注意:tracker server 的日志不是时时写硬盘的,而是先写内存# sync log buff to disk every interval seconds# default value is 10 secondssync_log_buff_interval = 10# 检测 storage server 存活的时间隔,单位为秒。# storage server定期向tracker server 发心跳,如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳,那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。通常配置为storage server心跳时间间隔的2倍或3倍# check storage server alive interval secondscheck_active_interval = 120# 线程栈的大小。FastDFS server端采用了线程方式。tracker server线程栈不应小于64KB# 线程栈越大,一个线程占用的系统资源就越多。如果要启动更多的线程(V1.x对应的参数为max_connections,V2.0为work_threads),可以适当降低本参数值# thread stack size, should >= 64KB# default value is 64KBthread_stack_size = 64KB# 这个参数控制当storage server IP地址改变时,集群是否自动调整。注:只有在storage server进程重启时才完成自动调整# auto adjust when the ip address of the storage server changed# default value is truestorage_ip_changed_auto_adjust = true# V2.0引入的参数。存储服务器之间同步文件的最大延迟时间,缺省为1天。根据实际情况进行调整# 注:本参数并不影响文件同步过程。本参数仅在下载文件时,判断文件是否已经被同步完成的一个阀值(经验值)# storage sync file max delay seconds# default value is 86400 seconds (one day)# since V2.00storage_sync_file_max_delay = 86400# V2.0引入的参数。存储服务器同步一个文件需要消耗的最大时间,缺省为300s,即5分钟。# 注:本参数并不影响文件同步过程。本参数仅在下载文件时,作为判断当前文件是否被同步完成的一个阀值(经验值)# the max time of storage sync a file# default value is 300 seconds# since V2.00storage_sync_file_max_time = 300# V3.0引入的参数。是否使用小文件合并存储特性,缺省是关闭的# if use a trunk file to store several small files# default value is false# since V3.00use_trunk_file = false # V3.0引入的参数。# trunk file分配的最小字节数。比如文件只有16个字节,系统也会分配slot_min_size个字节# the min slot size, should <= 4KB# default value is 256 bytes# since V3.00slot_min_size = 256# V3.0引入的参数。# 只有文件大小<=这个参数值的文件,才会合并存储。如果一个文件的大小大于这个参数值,将直接保存到一个文件中(即不采用合并存储方式)。# the max slot size, should > slot_min_size# store the upload file to trunk file when it‘s size <= this value# default value is 16MB# since V3.00slot_max_size = 16MB# V3.0引入的参数。# 合并存储的trunk file大小,至少4MB,缺省值是64MB。不建议设置得过大# the trunk file size, should >= 4MB# default value is 64MB# since V3.00trunk_file_size = 64MB# 是否提前创建trunk file。只有当这个参数为true,下面3个以trunk_create_file_打头的参数才有效# if create trunk file advancely# default value is false# since V3.06trunk_create_file_advance = false# 提前创建trunk file的起始时间点(基准时间),02:00表示第一次创建的时间点是凌晨2点# the time base to create trunk file# the time format: HH:MM# default value is 02:00# since V3.06trunk_create_file_time_base = 02:00# 创建trunk file的时间间隔,单位为秒。如果每天只提前创建一次,则设置为86400# the interval of create trunk file, unit: second# default value is 38400 (one day)# since V3.06trunk_create_file_interval = 86400# 提前创建trunk file时,需要达到的空闲trunk大小# 比如本参数为20G,而当前空闲trunk为4GB,那么只需要创建16GB的trunk file即可# the threshold to create trunk file# when the free trunk file size less than the threshold, will create # the trunk files# default value is 0# since V3.06trunk_create_file_space_threshold = 20G# trunk初始化时,是否检查可用空间是否被占用# if check trunk space occupying when loading trunk free spaces# the occupied spaces will be ignored# default value is false# since V3.09# NOTICE: set this parameter to true will slow the loading of trunk spaces # when startup. you should set this parameter to true when neccessary.trunk_init_check_occupying = false# 是否无条件从trunk binlog中加载trunk可用空间信息# FastDFS缺省是从快照文件storage_trunk.dat中加载trunk可用空间,# 该文件的第一行记录的是trunk binlog的offset,然后从binlog的offset开始加载# if ignore storage_trunk.dat, reload from trunk binlog# default value is false# since V3.10# set to true once for version upgrade when your version less than V3.10trunk_init_reload_from_binlog = false# 是否使用server ID作为storage server标识# if use storage ID instead of IP address# default value is false# since V4.00use_storage_id = false# use_storage_id 设置为true,才需要设置本参数# 在文件中设置组名、server ID和对应的IP地址,参见源码目录下的配置示例:conf/storage_ids.conf# specify storage ids filename, can use relative or absolute path# since V4.00storage_ids_filename = storage_ids.conf#文件名中的id类型,有ip和id两种,只有当use_storage_id设置为true时该参数才有效# id type of the storage server in the filename, values are:## ip: the ip address of the storage server## id: the server id of the storage server# this paramter is valid only when use_storage_id set to true# default value is ip# since V4.03id_type_in_filename = ip# 存储从文件是否采用symbol link(符号链接)方式# 如果设置为true,一个从文件将占用两个文件:原始文件及指向它的符号链接# if store slave file use symbol link# default value is false# since V4.01store_slave_file_use_link = false