首页 > 代码库 > Tachyon基本使用04-----Tachyon配置项

Tachyon基本使用04-----Tachyon配置项

2024-07-27 04:51:01   223人阅读

一、Tachyon配置说明

Tachyon 配置参数分为4类：Master,Worker, Common (Master and Worker), and User configurations。

环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh，这些变量将会被TACHYON_JAVA_OPTS调用，这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件，TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用。

例如，如果你想使Java在7001端口远程调试在Master上，你可以修改TACHYON_MASTER_JAVA_OPTS是这样的：

exportTACHYON_MASTER_JAVA_OPTS="$TACHYON_JAVA_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=7001"


二、Tachyon常用配置

属性名默认值含义
tachyon.home"/mnt/tachyon_default_home"Tachyon的安装目录
tachyon.underfs.address$tachyon.home + "/underfs"Tachyon底层文件系统目录
tachyon.data.folder$tachyon.underfs.address + "/tachyon/data"Tachyon底层文件系统数据目录
tachyon.workers.folder$tachyon.underfs.address + "/tachyon/workers"
Tachyon worke目录
tachyon.usezookeeperfalse是否使用zookeeper来进行master容错
tachyon.zookeeper.addressnullZookeeper地址
tachyon.zookeeper.election.path"/election"Zookeeper选举文件夹
tachyon.zookeeper.leader.path"/leader"Zookeeperleader文件夹
tachyon.underfs.hdfs.impl"org.apache.hadoop.hdfs.DistributedFileSystem"HDFS底层文件系统实现类
tachyon.max.columns
1000RawTable允许的最大列数，必须在客户端和服务器端设置
tachyon.table.metadata.byte5242880在RawTable的元数据中最大允许多少字节
fs.s3n.awsAccessKeyIdnullS3 AWS访问密钥ID
fs.s3n.awsSecretAccessKeynullS3 aws 加密访问Key ID
tachyon.underfs.glusterfs.mountsnullGlusterfs卷装入点，如/卷
tachyon.underfs.glusterfs.volumesnullGlusterfs卷名，如tachyon_vol
tachyon.underfs.glusterfs.mapred.system.dirglusterfs:///mapred/system根据需要指定GLusterfs中MapReduce的数据子目录

三、Master配置

tachyon.master.journal.folder$tachyon.home +"/journal/"master journal log 存储目录
tachyon.master.hostnamelocalhostMaster主机名
tachyon.master.port19998Master节点运行端口
tachyon.master.web.port19999WEB接口运行端口
tachyon.master.whitelist/缓存路径

四、Wroker配置

tachyon.worker.port29998Worker节点运行端口
tachyon.worker.data.port29999Worker数据服务运行端口
tachyon.worker.data.folder/mnt/ramdiskWorker节点数据目录
tachyon.worker.memory.size128 MBWorker几点内存容量

五、用户配置

tachyon.user.failed.space.request.limits3文件系统终止之前的时间
tachyon.user.quota.unit.bytes8 MB客户端请求Worker几点的最小大小
tachyon.user.file.buffer.bytes1 MB文件缓冲区大小
tachyon.user.default.block.size.byte1 GBTachyon文件默认的block size
tachyon.user.remote.read.buffer.size.byte1 MB从远程worker读取数据的缓冲区大小


本文出自 “tachyon” 博客，请务必保留此出处http://ucloud.blog.51cto.com/3869454/1564007

Tachyon基本使用04-----Tachyon配置项


联系
我们