当前位置: 首页 > news >正文

中电金信 :以智能高效驱动数据生产,打造数据开发新范式

源启数据开发平台是源启·数据资产平台面向企业级数据湖仓和数据集市构建而打造的数据处理任务开发与管理平台,可支持离线数据仓库、实时数据仓库、数据湖和数据集市的构建。平台基于DAG可视化画布提供数据处理作业设计与调试,并为作业中的节点提供低代码、模板化以及智能IDE等多种开发调试模式,可适应不同技术等级和难度等级的数据开发。

 

同时,平台适配关系型数据库、MPP数据库、Hive、Spark、Flink等多种计算平台,并支持SQL、Flink SQL、Spark SQL、Python、Perl、Shell等多种开发语言,具备大模型驱动的代码补全、注释、纠错与调优等高效能代码开发智能辅助能力。此外,平台还具备丰富的开发管理能力,包括需求管理、作业管理、版本管理、脚本管理、调度推送、作业与节点监控、标准算法管理、代码开发规则管理等。

 

 

● 适用行业:银行、保险、证券、能源、制造等

● 应用技术:DAG可视化作业构建技术、多语言代码集成开发技术、代码开发智能辅助技术、大数据批处理和流处理技术等

● 应用场景:离线数据仓库构建、实时数据仓库构建、数据湖构建、数据集市构建

 

为应对日益复杂的数据开发场景与不断提升的效能诉求,源启数据开发平台V5.0正式发布。本次升级聚焦开发代码的质量保障、智能化水平、操作效率及多环境适配等能力,并推出数据测试、编码智能辅助、脚本跨环境迁移等六大核心功能,旨在为开发者提供更可靠、更敏捷、更智慧的开发体验,让数据生产既标准规范,又轻松高效。

 

01数据测试:告别“盲测”,实现加工逻辑的精准验证与质量前置

 

■ 功能介绍

平台全新上线数据测试功能,为每个作业节点提供专属的测试用例管理体系。支持以列表形式集中管理测试用例,进行便捷的新增、编辑、复制、删除操作。用户可针对特定数据处理逻辑,自由配置测试用的源表模拟数据与目标表预期结果,并一键运行测试、查看详尽的历史运行记录。该功能将单元测试理念深度融入数据开发流程,使每一段加工代码的逻辑正确性都能在部署前得到充分验证。

 

■ 场景应用

在数据加工代码开发过程中,开发者常面临逻辑验证的困境:由于生产数据往往无法覆盖所有边界情况(如空值、异常格式等),导致代码在特定场景下是否存在隐患难以确认。例如,在编写“剔除源表空数据后插入目标表”的脚本时,若当前源表无空值,则逻辑是否正确便无从验证。

 

传统方式只能先将代码部署上线,等待问题暴露,这种方式风险高且排查成本大。现在,开发者可直接在数据测试页面中模拟包含空值的源表数据,并设定预期产出的目标表数据,一键执行测试。系统会自动比对实际产出与预期结果,帮助开发者快速确认代码逻辑在“空值剔除”场景下的正确性,从而将加工代码的隐患消除在开发阶段,极大提升产出结果的可靠性。

 

02编码智能辅助:引入AI“结队编程”,让开发效率与代码质量双提升

 

■ 功能介绍

平台集成业界领先的大语言模型,推出AI智能编码能力。该功能全面支持代码智能补全、注释生成、代码解释、代码优化、代码纠错等能力。在开发者编写SQL等相关脚本时,可以使用智能编码功能。大模型能根据上下文理解代码意图,并且提供相关建议,有效降低代码理解与维护成本,提高开发人员的编码效率和质量。

  

■ 场景应用

面对复杂的业务逻辑与庞大的数据模型,即使是经验丰富的开发者在编写和解读代码时,也常常需投入大量精力。而对于团队新成员来说,快速熟悉代码更是一项不小的挑战。

 

编码智能辅助功能如同一位始终在线的资深专家,能在开发者编写过程中提供精准的代码补全,有效减少重复键入;面对一段晦涩难懂的代码逻辑,它可以一键生成清晰易懂的注释;同时,还能对冗长或者低效的代码主动给出优化建议。这不仅将开发者从重复、繁琐的编码劳动中解放出来,更能显著提升代码的可读性、规范性与健壮性。

 

 

03查询结果过滤:聚焦关键信息,让数据分析“快人一步”

 

■ 功能介绍

平台在数据查询结果展示界面,新增强大的前端过滤能力。用户可直接在返回的二维表结果集上,对任意列配置过滤条件(如等于、包含、大于等),筛选出所需的数据行。该功能实现了对查询结果的快速、交互式探索。

  

■ 场景应用

在数据探查、问题排查或报表验证场景中,开发者执行查询后,常常需要从成千上万条结果中定位特定的几行数据(例如,查找某个用户的交易记录,或查看某个错误状态的数据)。

 

传统方式往往需要修改SQL条件并重新执行查询,不仅耗时而且容易打断分析思路。查询结果过滤功能允许开发者在获取完整数据集后,直接在结果页面上进行多次、动态的过滤聚焦,迅速剥离无关信息,锁定关键数据。这极大地优化了数据探索与验证的交互体验,使分析工作更加流畅高效。

 

04项目级变量统一管理:告别重复配置,实现一处定义、处处引用

 

■ 功能介绍

平台新增项目级变量集中管理功能。所有在项目范围内需要共享和复用的参数(如环境标识、公共路径、业务日期格式等),均可定义为项目变量并在列表中统一维护。在项目内的任何开发节点中,均可直接引用这些变量,确保参数值的可复用性。

  

■ 场景应用

在多人协作的开发项目中,不同的开发节点经常需要使用相同的配置参数。传统模式下,每位开发者通常会在各自的脚本中硬编码或单独定义这些参数,这种做法极易导致参数不一致。此外,当参数需要调整时(例如从测试环境切换到生产环境),必须逐个脚本进行修改,过程繁琐且容易出错。

 

通过项目级变量管理,团队可将公共参数(如${env}, ${base_path})在项目变量管理中统一定义,所有节点脚本只需引用对应变量即可。

 

05DE级快捷操作:化繁为简,让编码行云流水

 

■ 功能介绍

平台在线代码编辑器现已支持丰富的IDE级别键盘快捷键操作,涵盖列块选择、行注释/取消注释、复制/删除当前行、代码行上下移动等高频操作。这些快捷键遵循开发者常用习惯,极大优化了在线编码的流畅度。

  

■ 场景应用

开发者已习惯于本地专业IDE的高效操作,而在网页版编辑器中调整代码时,往往因缺乏快捷键而感觉束手束脚,导致编辑效率下降。例如,当需要批量注释多行调试代码,或快速复制相似逻辑行时,往往只能依赖鼠标进行操作。

 

IDE快捷操作功能的引入,将那些熟悉的本地编码操作体验带到了云端。开发者可以像在本地环境中一样,通过快捷键迅速完成一系列编辑动作,让注意力始终聚焦在逻辑构思,而非重复的机械操作,显著提升了在线开发的舒适度与速度。

 

06脚本跨环境迁移:实现“一次开发,多环境平滑部署”

 

■ 功能介绍

平台对离线及实时作业脚本的迁移逻辑进行了自动化升级。脚本中的数据源连接信息不再硬编码,而是改为引用环境变量的方式。当脚本需要从测试环境迁移至生产或其他环境时,无需手动修改连接字符串,脚本在运行时将自动根据目标环境所注入的变量值,连接到正确的数据源,从而实现环境配置与业务逻辑的彻底解耦。

  

■ 场景应用

在数据开发流程中,代码通常严格按照开发、测试再到生产的流水线逐步推进。传统的脚本迁移常面临“连接信息地狱”——每个脚本中的数据库连接信息都需要根据目标环境手动修改,不仅工作量大,还容易遗漏,从而可能引发生产事故。

 

新的脚本生成机制从根本上解决了这一痛点。开发者在开发测试环境中生成脚本时,其中的连接信息就已经自动变量化。当运维人员将作业迁移至生产环境时,只需在生产环境配置中设定好对应的数据源变量值,脚本无需任何修改即可直接运行。这一机制确保了部署过程的安全、高效与准确,真正实现了敏捷、可靠的CI/CD(持续集成/持续部署)流程。

http://www.jsqmd.com/news/413736/

相关文章:

  • 2026年食用油精炼设备厂家推荐:郑州中赢机械设备有限公司,多品类油脂精炼解决方案 - 品牌推荐官
  • 2026年沈阳娱乐KTV推荐:PartyKIng派对之王,商务/主题/经典/豪华KTV全场景适配 - 品牌推荐官
  • 2026 生物医药及电子半导体行业厂房机电安装工程公司推荐 - 品牌2025
  • 期货与期权一体化平台参数输入表格设计
  • Go 语言系统编程与云原生开发实战(第22篇)
  • 2026年玻璃隔断专业厂家推荐:沈阳市苏家屯区双赢装饰装修材料经营部,全系玻璃隔断产品供应 - 品牌推荐官
  • 2026年波纹管厂家实力推荐:重庆元能管业,钢带/HDPE/双壁/MPVE波纹管全品类供应 - 品牌推荐官
  • 套期保值管理系统自动结算流程设计
  • 2026年川剧变脸服装/报名/学习/培训班推荐:华艺变脸,非遗技艺传承优选 - 品牌推荐官
  • 2026年工业包装万通板品牌评测报告:中空板周转箱、塑料中空板、防静电中空板、万通板、瓦楞板、PP中空板、中空板选择指南 - 优质品牌商家
  • 个人向 Linux 服务器开荒
  • 2026 生物医药及电子半导体厂房恒温恒湿工程专业公司推荐 - 品牌2025
  • 经典控制论PID-实例-30 - jack
  • 2026年安保服务与培训推荐:河南省鼎盛保安服务有限公司,校园/物业/海外多场景安保全覆盖 - 品牌推荐官
  • 自搭建 Tailscale DERP 服务器并使用客户端验证
  • 2026年彩印/手提/瓦楞/展示/定制箱子厂家推荐:崇州承文印刷厂全系产品供应 - 品牌推荐官
  • 2026年墨盒硒鼓回收厂家推荐:鑫赢耗材回收,原装/新旧/高价回收全品类服务 - 品牌推荐官
  • 2026年墙面/局部/老房/卫生间/二手房/厨卫翻新推荐:靓滔装饰专业焕新服务 - 品牌推荐官
  • 2026年水泵/大棚卷帘机智能控制器推荐:郑州海控电子科技,全系产品助力农业工业智能化升级 - 品牌推荐官
  • 2026年管链输送设备厂家推荐:山东意德粉体科技,粉体/链管/自动管链输送机全系解决方案 - 品牌推荐官
  • 每天学透1个知识点—Oracle性能调优之数据库的CPU突然飙升到100%
  • 2026通风排烟天窗推荐:靖江市坦贝尔环境科技,圆拱/薄型/电动采光等全系通风天窗专业供应 - 品牌推荐官
  • 【技术实践】JMG复牌场景下实时行情API的核心应用与问题解决
  • 2026年牧草/水稻/麦草/秸秆优质打捆网推荐:沈阳祥瑞塑业全系产品助力农业高效作业 - 品牌推荐官
  • 8周速成!从零到大模型开发,春招收割大厂Offer_2个月冲刺!S4-1春招冲刺营助你零基础拿下大厂Offer
  • 2026年 磁悬浮离心机厂家推荐排行榜:高效节能与静音运行技术领先品牌深度解析 - 品牌企业推荐师(官方)
  • 2026年HDPE给水管厂家推荐:贵州狮诚管业科技,多场景适配的优质管道解决方案 - 品牌推荐官
  • 手机短信误删别慌张!从系统功能到专业工具,全方位恢复指南
  • 2026年西安高铁货运快递哪家靠谱?适配各类运输需求 口碑优良更具保障 - 深度智识库
  • 2026矿物铸件厂家推荐:山东克莱蒙特新材料科技,无机/聚合物/机架/立柱全系产品供应 - 品牌推荐官