大数据|HBase导出CSV格式数据的方法 yarn|pig|hbase|csv|export|Big|Data|H

本文的测试环境为hbase-0.96.0 + yarn(hadoop-2.0.3-alpha) + pig-0.12.0。在测试前，先创建了一张名为test的hbase表，它内容非常简单，就只有一行数据：

文章图片

HBase export工具导出的数据的格式是sequence file。比如，在执行完命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Export test test-output-001”后，hbase会启动一个MapReduce作业，作业完成后会在hdfs上面会生成sequence file格式的数据文件：

文章图片

当然，对于这类Sequence file格式的数据文件，HBase是可以直接将它导入到HBase的表里面的。
【大数据|HBase导出CSV格式数据的方法】比如，我们创建另外一张hbase空表，名为test-01。命令为：“create 'test-01','cf'”。此时，表test-01的内容为空。
然后，执行命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Import test-01 test-output-001”，随后hbase会启动一个MapReduce 作业：

文章图片

此时，我们可以看到表test-01中已经成功导入了数据：

文章图片

如果想从HBase中直接导出CSV格式的数据文件，可以借助Pig。步骤为：
a) 编辑名为ExportHbase.pig的文件：
REGISTER ${HBASE_HOME}/lib/htrace-core-2.01.jar;
REGISTER ${PIG_HOME}/contrib/piggybank/java/piggybank.jar;
x = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf:c1');
STORE x INTO 'test-tbl-data.csv' USING PigStorage('$');
b) 执行命令“bin/pig -x mapreduce ExportHbase.pig”，然后Pig会启动一个MapReduce job，执行完毕后会在hdfs上生成CSV格式的数据：

文章图片

除了利用Pig，还可以用别的方法从HBase 导出CSV格式的数据：
- 编写Java程序，调用HBase API。
具体方法可以参考http://blog.csdn.net/macyang/article/details/8522677.
- 把HBase生成的Sequence file转化成CSV格式的文件

大数据|HBase导出CSV格式数据的方法

推荐阅读

画眉的故事告诉我们什么道理画眉这个故事告诉我们什么道理

佳能相机好不好佳能低端相机好垃圾

普洱茶为什么能去除油腻？

“无裸不欢”这是画家的癖好还是艺术情怀呢？

山楂变色了还能吃吗

建筑分析动画,建筑动画技术学什么

水蛇腰是什么腰

37岁适合用什么化妆品

鲍鱼清洗技巧鲍鱼清洗步骤

火龙果怎么切方块火龙果如何切方块

飞机能带几斤红酒坐飞机能带几瓶红酒

乳胶凉席多久清洗一次

长武苹果|长武苹果甘甜爽口远销国外

星巴克绿色星球蛋糕味道怎么样星巴克绿色星球蛋糕多少钱一个

微信排版编辑器，微信排版器都有哪些

风云岛行动风牧远许愿选什么风牧远许愿选择攻略

结合自身对安全和环境法的认识

小龙虾能喝榴莲一起吃吗

河北爷孙7天骑行8百多公里上学，孙子：挑战自己，是远行也是陪伴

泗水梅园门票免费政策泗水梅园门票多少钱