Apache Sqoop 云端大数据分析的重要一环
发布时间：2022-05-30 12:23:23 所属栏目：云计算 来源：互联网
导读：Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。 正当大数据变得越来越重要，而越来越多应用都在云上部署时，云管理员也面临了不断增长的将数据从源系统转移到分
|
Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。 正当大数据变得越来越重要，而越来越多应用都在云上部署时，云管理员也面临了不断增长的将数据从源系统转移到分析系统——其中最热门的就是Hadoop——的需求。ETL工具的自定义脚本在过去辅助了这种数据迁移，现在Apache Sqoop正崛起成为更好的选择。 随着Hadoop和关系型数据库之间的数据移动渐渐变成一个标准的流程，云管理员们能够利用Sqoop的并行批量数据加载能力来简化这***程，降低编写自定义数据加载脚本的需求。 Apache Sqoop是一个将数据在关系数据库及Hadoop之间转移的命令行工具。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。 Sqoop有一个非常小的命令集，里面包括导入和导出，列出数据库和表信息，生成Java类来操纵数据，解析SQL命令以及其他一些更专门的命令。生成Java类的命令对于在Hadoop里编写Java应用来进行数据操作特别有用。SQL解析命令可以显示执行SQL语句的结果，这在搜索新数据库或产生复杂逻辑的查询时非常有用。 使用Sqoop比自定义脚本有一定的优势。其一就是，Sqoop被设计成具备容错性。你也可以自定义脚本来监控你的工作状态，然后从故障中恢复，但是那有可能难以置信的耗时。 使用Sqoop需要注意的地方 尽管有以上的优点，在使用Sqoop的时候还有一些事情需要注意。首先，对于默认的并行机制要小心。默认情况下的并行意味着Sqoop假设大数据是在分区键范围内均匀分布的。这在当你的源系统是使用一个序列号发生器来生成主键的时候工作得很好。打个比方，当你有一个10个节点的集群，那么工作负载是在这10台服务器上平均分配的。但是，如果你的分割键是基于字母数字的，拥有比如以“A”作为开头的键值的数量会是“M”作为开头键值数量的20倍，那么工作负载就会变成从一台服务器倾斜到另一台服务器上。 如果你最担心是性能，那么可以研究下直接加载。直接加载绕过通常的Java数据库连接导入，使用数据库本身提供的直接载入工具，比如MySQL的mysqldump。但是有特定数据库的限制。比如，你不能使用MySQL或者PostgreSQL的连接器来导入BLOB和CLOB类型。也没有驱动支持从视图的导入。Oracle直接驱动需要特权来读取类似dba_objects和v_$parameter这样的元数据。请查阅你的数据库直连驱动程序局限性的相关文档。 进行增量导入是与效率有关的最受关注的问题，因为Sqoop专门是为大数据集设计的。Sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上，或者指定上次修改的时间戳。 由于Sqoop将数据移入和移出关系型数据库的能力，其对于Hive—Hadoop生态系统里的著名的类SQL数据仓库—有专门的支持不足为奇。命令“create-hive-table”可以用来将数据表定义导入到Hive。 （编辑：泉州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐