当前位置: 首页 > news >正文

sqoop采集做完后导致hdfs数据与Oracle数据量不符的难题。怎么解决?

原因:

sqoop以文本格式导入数据时,默认的换行符是特殊字符

当oracle中的材料列中出现了\n、\r、\t等特殊符号,就会被划分为多行

例如:

oracle资料:

id name age

001 zhangsan\nsan 18

sqoop遇到特殊字段就作为一行

001 zhangsan

san 18

就导致hive里面:

id name age

001 zhangsan

san 18

总的来说就是,oracle里面有特殊符号不影响,但sqoop里面有特殊符号会换行,导致行号出问题,从而导致数据出问题

解决:

方案一:删除或者替换数据中的换行符

--hive-drop-import-delims:删除换行符

--hive-delims-replacement char:替换换行符

不建议使用:侵入了原始数据,对数据做了修改,但是不能对数据本身随便修改,万一客户需求就是要这种数据

方案二:使用特殊文件格式:avro格式

为什么用avro格式,因为建表在hive里面,计算在spark里面,所以选择一种hive和spark都支持的格式就是avro格式,其次Avro 的 Schema 包含字段名称、类型、默认值、注释等元信息,Sqoop 在导入 Oracle 时,会自动生成与 Oracle 表结构完全对应的 Avro Schema(包括复杂类型如DATETIMESTAMPCLOB

常见格式介绍

sparkcore缺点:rdd【数据】:没有schema

sparksql优点:dataframe【数据+schema】

schema:列的信息【列的名称、类型】

schema是什么?

Schema(元数据)是对数据结构的 “描述信息”,简单来说就是定义了数据集中每一列的 “规则”

假设有一个存储用户信息的 DataFrame,数据内容如下:

idnameageis_student
1Alice20true
2Bob25false

它的 Schema 会明确描述为:

列名 “id”,类型为IntegerType(整数),不可为空;

列名 “name”,类型为StringType(字符串),不可为空;

列名 “age”,类型为IntegerType(整数),不可为空;

列名 “is_student”,类型为BooleanType(布尔值),不可为空。

DataFrame是一种分布式的、具有结构化数据的集合,可以理解为 “分布式的表格”—— 它像数据库中的表一样,有行和列的结构,同时还具备分布式计算的特性(数据存储在集群的多个节点上)

avro格式特点

优点:二进制数据存储,性能好、效率高

使用json描述模式,拥护场景更丰富

schema和数据统一存储,信息自描述

模式定义允许定义数据的排序

缺点:

只支持avro自己的序列化格式

少量列的读取性能比较差,压缩比较低

场景:基于行的大规模结构化内容写入、列的读取非常多(ods)或者schema变更操作比较频繁的场景

sqoop应用avro格式

选项: --as-avrodatafile

注意:如果应用了mr的uber模式,必须在程序中加上以下参数避免类冲突问题

-Dmapreduce.job.user.classpath.first=true

http://www.jsqmd.com/news/333391/

相关文章:

  • 2026年 红木家具厂家推荐排行榜:东方红木/红木家居,匠心工艺与典雅设计品牌深度解析 - 品牌企业推荐师(官方)
  • 2026年苏州沉水植物厂家排名,沉水植物专业企业哪家性价比高? - mypinpai
  • Attention Isn‘t All You Need for Emotion RecognitionDomain Features Outperform Transformers on the E
  • P0951CE-A FBC01模拟输入模块
  • 2026年深圳性价比高的就业规划机构盘点,就业规划机构哪家好 - 工业品牌热点
  • 基于BS架构的题库管理系统开题报告(3)
  • 学霸同款10个降AIGC工具 千笔·降AIGC助手解决AI率过高痛点
  • P0951BA-0E FBP10处理器模块
  • AI营销内容失灵?2026榜单看原圈科技如何破局伪全球化
  • 聊聊好用的高清LED透明屏,上海地区有哪些品牌 - 工业品网
  • 学生近视低龄化引关注,教育照明护眼灯成防控关键
  • 2026 AI营销内容系统排名:原圈科技如何凭实力登顶榜单?
  • 2026矿用在线浓度计品牌盘点:4家优质厂家产品全解析 - 品牌推荐大师1
  • 口碑好的红点品牌与传达设计奖申报公司,广州有哪些 - 工业设备
  • AI元人文:“正确”之后——论后正确时代的认知生态治理哲学
  • 2026年用友YonSuite哪家靠谱?企业服务合作方选择参考 - 品牌排行榜
  • Lambda anyMatch
  • 聊聊泰州数控培训周末班,费用多少、怎么收费的? - 工业推荐榜
  • 2026年 拔丝机厂家推荐排行榜,金属拔丝机,钢筋拔丝机,线材拔丝设备,高效稳定源头工厂深度解析 - 品牌企业推荐师(官方)
  • 2026.2 模拟赛日志
  • 解密森源KTV家具定制厂,环保达标与否及品牌影响力探讨 - myqiye
  • 2026年苏州装修公司十家口碑榜:新房整装与老房翻新全覆盖 - 速递信息
  • 2026最新西南防火涂料品牌甄选:钢结构 / 隧道 / 电缆 / 饰面型涂料五大优质企业上榜 - 深度智识库
  • 2026年珠江夜游票务权威指南:夜游春节/国庆/五一票价、码头选择、团购与公司团建服务专业推荐 - 品牌推荐官
  • 常用软件
  • CLI-Agent 使用记录
  • 35+抗衰别死磕胶原蛋白,NAD+才是关键,盼生派NMN助你科学抗衰 - 速递信息
  • 2026毕设ssm+vue农田节水灌溉监测系统论文+程序
  • 2026年目前靠谱的不锈钢热轧板直销厂家口碑推荐,排水系统/不锈钢热轧板,不锈钢热轧板批发零售有哪些 - 品牌推荐师
  • 聊聊彩钢方通吊顶保养厂家哪个值得选,附口碑推荐 - 工业品牌热点