良许Linux教程网 干货合集 Linux系统安装Sqoop具体教程

Linux系统安装Sqoop具体教程

本篇文章和大家分享一下Linux系统安装大数据数据搬运工具Sqoop的具体教程,有需要的朋友可以参考一下。

Linux系统安装Sqoop具体教程

Sqoop简介:

Sqoop : SQL-to-Hadoop 用途:把关系型数据库的数据转移到HDFS(Hive、Hbase)(重点使用的场景);Hadoop中的数据转移到关系型数据库中。Sqoop是java语言开发的,底层使用mapreduce。

Linux系统安装Sqoop具体步骤:

安装约定

安装目录为/opt/

1) 解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/

2) 重命名:

 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

3) 配置SQOOP_HOME到环境变量中

vim /etc/profile.d/hadoop-etc.sh

export SQOOP_HOME=/opt/sqoop

export PATH=SQOOP_HOME/bin

4) 让配置生效: source /etc/profile.d/hadoop-etc.sh

5) 复制并重命名配置文件$SQOOP_HOME/conf/ sqoop-env-template.sh

cp sqoop-env-template.sh sqoop-env.sh

6) 配置$SQOOP_HOME/conf/sqoop-env.sh

 export HADOOP_COMMON_HOME=/opt/hadoop

 export HBASE_HOME=/opt/hbase

 export HIVE_HOME=/opt/hive

 export ZOOCFGDIR=/opt/zookeeper/conf

注意:因为SQOOP要连接rdbms,所以需要将该数据的驱动jar包添加进sqoop的classpath中,所以将mysql的jar包上传至$SQOOP_HONE/lib,

7) SQOOP安装验证

执行命令sqoop list-databases –connect jdbc:mysql://ip:3306/test –username root –password 123456 ,显示mysql数据库中所有库名称。

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你!

137e00002230ad9f26e78-265x300

本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部