当前位置: 首页 > news >正文

avro 数据入门

1.概述

Apache Avro 是一种 开源的、语言无关的、基于行的(row-based)数据序列化格式,由 Hadoop 项目开发,广泛用于大数据生态系统(如 Kafka、Spark、Flink、Hive 等)中,用于高效存储和传输结构化数据。

  • avro 是使用二进制存储
  • 需要一个schema数据格式
  • 可以通过schema 生成 类对象
  • 可以通过类对文件反序列化

2.使用方法

2.1 定义schema 文件

user.avsc

{"namespace": "com.example.avro","type": "record","name": "User","fields": [{"name": "name", "type": "string"},{"name": "favorite_number", "type": ["int", "null"]},{"name": "favorite_color", "type": ["string", "null"]}]
}

2.2 生成对象

定义pom.xml
plugins 定义如下

<plugins><plugin><groupId>org.apache.avro</groupId><artifactId>avro-maven-plugin</artifactId><version>1.12.0</version><executions><execution><phase>generate-sources</phase><goals><goal>schema</goal></goals><configuration><sourceDirectory>${project.basedir}/src/main/resources/avro/</sourceDirectory><outputDirectory>${project.basedir}/src/main/java/</outputDirectory></configuration></execution></executions></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><configuration><source>21</source><target>21</target></configuration></plugin><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins>

schema 文件 放到 /src/main/resources/avro/ 目录下

点击 install 后生成文件如下:

image

http://www.jsqmd.com/news/35801/

相关文章:

  • 2025龙信杯个人Wp
  • 7大AI论文写作工具必备!论文写作辅助神器推荐!
  • flask: 报错:The CSRF token is missing.
  • Java数组——二维及多维数组
  • 详细介绍:MySql复习及面试题学习
  • MATLAB 实现 SRCNN 图像超分辨率重建
  • 2025.11.03~2025.11.09
  • 2025年热门的安全检测检验公司综合排名
  • 详细介绍:Python 2025年10月最新:多平台域名/小程序封禁检测工具
  • 多快省力插件使用帮助说明
  • 人工势场法(APF)路径规划 MATLAB
  • MySQL--多表查询
  • ABC431 解题报告
  • 哈佛放屁都是香的?
  • 使用MATLAB实现平方倍频法对DSSS/BPSK信号进行载频估计
  • 详细介绍:推荐系统实战:python新能源汽车智能推荐(两种协同过滤+Django 全栈项目 源码)计算机专业✅
  • 深入解析:李宏毅2025春季机器学习作业ML2025_Spring_HW4在kaggle上的实操笔记
  • 完整教程:PostgreSQL + Redis + Elasticsearch 实时同步方案实践:从触发器到高性能搜索
  • 基于最小二乘法的五颗可见卫星伪距定位
  • new day
  • 2025 年 11 月冰水机厂家推荐排行榜,工业冰水机,冷却冰水机,制冷冰水机,低温冰水机公司精选
  • 2025 年 11 月工业冰水机厂家权威推荐榜:专业制冷与高效节能口碑之选,工业冰水机,工业冷水机,工业冷冻机公司推荐
  • 词根学习笔记 | Alter系列 - 详解
  • 图片加字,用我最爽
  • new day
  • How to do PhD work
  • 关于计算机语言的学习
  • 计算机视觉(opencv)——基于MediaPipe与机器学习的手势识别高效的系统
  • 2025年合肥品牌设计团队专业排行
  • 2025年国内品牌设计公司top5推荐:专业团队口碑榜单