Hadoop中的Sqoop组件具体如何实现大数据的导入导出？

本文共计3096个文字，预计阅读时间需要13分钟。

目录 + Sqoop组件安装与配置

1.使用xftp将软件包上传到/opt/software

2.部署Sqoop（在master上执行）

3.启动Sqoop集群（在master上执行）

4.连接Hive配置（在master上执行）

5.在Hive中创建sample数据库和表

目录

• Sqoop组件安装与配置
  • 1、使用xftp将软件包上传到/opt/software
  • 2、部署sqoop(在master上执行)
  • 3、启动sqoop集群(在master上执行)
  • 4、连接hive配置(在master上执行）
  • 5、在Hive中创建sample数据库和student数据表
  • 6、从MySQL导出数据，导入Hive
  • 7、将数据从hive中导出到mysql数据库中(在master上执行)
  • 8、从Hive导出数据，导入到MySQL
  • 9、sqoop常用命令
  • 10、浏览器查看

Sqoop组件安装与配置

Sqoop是Apache旗下一款 “Hadoop和关系数据库服务器之间传送数据” 的工具。主要用于在Hadoop(Hive)与传统的数据库(MySQL、Oracl、 Postgres等)之间进行数据的传递， 可以将一个关系型数据库中的数据 导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。