数据治理-Doris-别名函数和存储过程

目的

记录使用Doris进行数据治理过程中的经验技巧

别名函数

数据治理-SQL生产过程中，需要将大量常用到的数据加工逻辑简化为单个函数，以精简SQL语句，提升可读性和可维护性。
Doris中创建函数的方法有两种：
1、UDF方式：使用Java/Python等语言编写代码，打包后注册到Doris
2、别名函数方式：组合已有的函数，创建别名函数

UDF方式较别名函数性能低、灵活度高、开发成本略高。因此需要自定义函数时，应优先考虑别名函数，别名函数无法满足需求时，再考虑UDF

示例

1、as_mac()函数使用场景：将原始层非标准的MAC地址标准化，读者可参考后自行按需实现掩码函数、IP地址标准化函数等
2、ratio()函数使用场景：专题层指标加工时，需要计算百分比的场景（分母可能是0，此时要返回一个默认值）

-- 创建别名函数 as_mac(String), 用于将小写、带-连接符、带:连接符的mac统一转换为大写无分隔符的格式。该函数用于ODS层数据治理createglobalaliasfunctionas_mac(String)withparameter(foo)asUPPER(REGEXP_REPLACE(foo,'-|:',''));-- 创建别名函数 ratio, 用于实现除法，当分母等于0，结果为默认值；否则结果=分子/分母。该函数常用于指标计算createglobalaliasfunctionratio(Float,Float,Float)withparameter(fen_zi,fen_mu,mo_ren_zhi)asif(fen_mu=0,mo_ren_zhi,fen_zi/fen_mu);-- 使用别名函数selectas_mac('1d-a6-2e-8B-35-4B');selectratio(10,20,100);

存储过程

在Doris 3.0版本中，存储过程还是不成熟的功能，未出现在官方文档中，这里只是做下探索记录，以备不时之需

-- 删除存储过程dropproceduregetDictItemName;-- 创建存储过程createproceduregetDictItemName(INdict_type_code string,-- 输入参数：字典类型代码INdict_item_code string-- 输出参数：字典项代码)beginselectzdxmcfrompublic.std_dict_itemwherezdlxdm=dict_type_codeandzdxdm=dict_item_code;end;-- 调用存储过程，返回字典项名称 如：男性callgetDictItemName('A00036','02');