Sqoop 安装配置与使用
Sqoop 只用在一台有 HIVE 的服务器上安装即可
这里我选择的是 slave2
下载安装
Apacha Sqoop 官方下载地址
http://archive.apache.org/dist/sqoop/1.4.7/
- 下载上传至 /opt/software
- 解压至 /opt/servers
1
2
3
4
5tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/servers
cd /opt/servers
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
设置环境变量
1 | # Sqoop |
使其生效1
source /etc/profile
创建并修改配置文件
1 | cd $SQOOP_HOME/conf |
vim sqoop-env.sh
在文件末尾增加:1
2
3export HADOOP_COMMON_HOME=/opt/servers/hadoop-2.10.1
export HADOOP_MAPRED_HOME=/opt/servers/hadoop-2.10.1
export HIVE_HOME=/opt/servers/hive-2.3.9
链接 Jar 包
JDBC
注意自己的 JDBC 版本1
ln -s /opt/servers/hive-2.3.9/lib/mysql-connector-java-8.0.26.jar /opt/servers/sqoop-1.4.7/lib
hive-common.jar
将 $HIVE_HOME/lib 下的 hive-common-2.3.7.jar, 拷贝到 $SQOOP_HOME/lib 目录下。如不拷贝在 MySQL 往 Hive 导数据的时候将会出现错误:ClassNotFoundException:org.apache.hadoop.hive.conf.HiveConf1
ln -s /opt/servers/hive-2.3.9/lib/hive-common-2.3.9.jar /opt/servers/sqoop-1.4.7/lib
验证安装
1 | sqoop version |
数据导入
懒了,有需要在我补充上去。。。。
数据导出 Mysql
1 | CREATE TABLE jobdata_origin ( |
1 | sqoop export \ |
导出成功后到 mysql 查看是否有数据1
SELECT * FROM jobdata_origin;