Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。

环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用


二、Tachyon常用配置

属性名默认值含义
tachyon.home"/mnt/tachyon_default_home"Tachyon的安装目录
tachyon.underfs.address$tachyon.home + "/underfs"Tachyon底层文件系统目录
tachyon.data.folder$tachyon.underfs.address + "/tachyon/data"Tachyon底层文件系统数据目录
tachyon.workers.folder$tachyon.underfs.address + "/tachyon/workers"Tachyon worke目录
tachyon.usezookeeperfalse是否使用zookeeper来进行master容错
tachyon.zookeeper.addressnullZookeeper地址
tachyon.zookeeper.election.path"/election"Zookeeper选举文件夹
tachyon.zookeeper.leader.path"/leader"Zookeeperleader文件夹
tachyon.underfs.hdfs.impl"org.apache.hadoop.hdfs.DistributedFileSystem"HDFS底层文件系统实现类
tachyon.max.columns1000RawTable允许的最大列数,必须在客户端和服务器端设置
tachyon.table.metadata.byte5242880在RawTable的元数据中最大允许多少字节
fs.s3n.awsAccessKeyIdnullS3 AWS访问密钥ID
fs.s3n.awsSecretAccessKeynullS3 aws 加密访问Key ID
tachyon.underfs.glusterfs.mountsnullGlusterfs卷装入点,如/卷
tachyon.underfs.glusterfs.volumesnullGlusterfs卷名,如tachyon_vol
tachyon.underfs.glusterfs.mapred.system.dirglusterfs:///mapred/system根据需要指定GLusterfs中MapReduce的数据子目录

三、Master配置

tachyon.master.journal.folder$tachyon.home +"/journal/"master journal log 存储目录
tachyon.master.hostnamelocalhostMaster主机名
tachyon.master.port19998Master节点运行端口
tachyon.master.web.port19999WEB接口运行端口
tachyon.master.whitelist/缓存路径

四、Wroker配置

tachyon.worker.port29998Worker节点运行端口
tachyon.worker.data.port29999Worker数据服务运行端口
tachyon.worker.data.folder/mnt/ramdiskWorker节点数据目录
tachyon.worker.memory.size128 MBWorker几点内存容量

五、用户配置

tachyon.user.failed.space.request.limits3文件系统终止之前的时间
tachyon.user.quota.unit.bytes8 MB客户端请求Worker几点的最小大小
tachyon.user.file.buffer.bytes1 MB文件缓冲区大小
tachyon.user.default.block.size.byte1 GBTachyon文件默认的block size
tachyon.user.remote.read.buffer.size.byte1 MB从远程worker读取数据的缓冲区大小

05-11 10:58