当前位置: 首页 > news >正文

数据开发工作内容简要介绍

题外话:这些内容本该在2023-2024年就写好的,但是由于自己比较懒,就没有花时间和精力去写作。现在正值新平台升级前夕,记录一下过去三年的摸索与学习历程。

数据开发工程师,或者叫ETL工程师(以下简称工程师),在我看来主要起到一个连接者的作用,如果工程师服务的对象是一个业务系统,然后这个业务系统又需要很多外部的数据达成业务目标,那么工程师就需要去了解所需的外部系统,找到数据源,接入数据源,通过SQL/Python转换数据,最终提供数据表或API给到业务系统来使用。当然,在实际的开发过程中,可能会发现源端数据无接口需要二次开发采集器,或者业务系统或客户希望拿到表格(类似Excel类型的而不是Database里Table),或者是直接形成文档(最常见的为周报/图表等),在增加开发难度及工作量的同时,也考验工程师对于业务理解和对技术的快速学习和熟练程度(AI可帮忙许多)。因此,作为一个有上进心的数据工程师,还是得评估好自己的强项弱点,并不断精进业务技术双能力,并且推动整体工作项的落地的。

上述内容,仅仅是我根据自己的实际情况概括的工作内容,会存在一定的局限性,不过想要入门数据开发可没那么难,有一台能上网的电脑基本上就可以开始你的数据之旅了,你准备好了吗?

http://www.jsqmd.com/news/64376/

相关文章:

  • 关于博客后续
  • 我不玩了
  • BOSA 光通信专业名词
  • 学习率衰减策略
  • 神秘C语言内存分区。
  • 深度学习第一周
  • 课后作业10
  • 英语_阅读_a robot for science fair_待读
  • 装饰器模式
  • std function如何消除不同functor的类型和存储差别
  • 2025年靠谱的轮胎品牌哪家好?口碑好的轮胎品牌哪家好?官方精选可靠品牌指南
  • 2025年什么牌子的轮胎比较好:权威测评优质轮胎排行
  • 权重衰减
  • 2025年中国前五轮胎品牌:权威TOP10轮胎榜单发布
  • 完整教程:简析单目相机模型中的针孔模型
  • 完整教程:简析单目相机模型中的针孔模型
  • 理想L6更换轮胎推荐:2025年销量突破100万的胎压表现
  • 问界M8更换轮胎推荐:2025年效率提升80%的推荐
  • 题解 CF 2173 Div2
  • faster r cnn中的动量
  • 读大话数据结构的总结1
  • 车辆ID跟踪与车牌纠正分析
  • 需求的分层
  • 1pcs 3pcs是啥
  • 红旗HS6 PHEV更换轮胎推荐:2025年用户满意度高的方案
  • 12.5 程序员修炼之道:从小工到专家 第7章 在项目开始之前 - GENGAR
  • 理想L9更换轮胎推荐:2025年超500万用户力荐的组合
  • 小红书玩疯了!Ai像素级拆解提示词+Nano Banan Pro免费使用教程(附Api接入实战)
  • 2025.12.6日20:13-harsh无情的;粗糙的
  • 实验5