首页 > 代码库 > ycsb对hbase性能测试的研究

ycsb对hbase性能测试的研究

ycsb对hbase性能测试

1、ycsb安装

下载ycsb软件

wget https://github.com/downloads/brianfrankcooper/YCSB/ycsb-0.1.4.tar.gz

解压ycsb软件

tar xf  ycsb-0.1.4.tar.gz

cd ycsb-0.1.4

配置

将hbase下的jar包放到ycsb中

cp /usr/hdp/2.2.9.0-3393/hbase/lib/* /usr/tmp/ycsb-0.1.4/hbase-binding/lib/

将hbase下hbase-site.xml 拷贝到ycsb的conf中

cp /usr/hdp/2.2.9.0-3393/hbase/conf/hbase-site.xml /usr/tmp/ycsb-0.1.4/hbase-binding/conf/

有可能会报错

技术分享

因为缺少hadoop-common.jar ,可以使用find / -name hadoop-common*jar来进行jar包查找。

出现错误:java.io.IOException: No FileSystem for scheme: hdfs

技术分享

 

在ycsb下的conf中的hbase-site.xml中添加即可
<property> <name>fs.file.impl</name> <value>org.apache.hadoop.fs.LocalFileSystem</value> <description>The FileSystem for file: uris.</description>
</property> <property> <name>fs.hdfs.impl</name> <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> <description>The FileSystem for hdfs: uris.</description>
</property>
最后再执行数据加载命令,也就能成功的加载数据了!
./ycsb load hbase -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=10000 -s > load.dat
初次接触,研究到这里,有什么不对的地方还请多指教,后续会继续用ycsb研究相关hbase性能调优!

ycsb对hbase性能测试的研究