Microsoft Fabric - 尝试一下Data Factory 的Parameterization特性

1.简单介绍

Microsoft Fabric 是微软提供的一个基于Saas的数据平台。当前全球已经70%的财富500强在使用Microsoft Fabric，同时有95%的财富500强使用Power BI, Power BI的全球开发人员达到了700万，感觉社区挺大的。

Data Factory是Microsoft Fabric非常重要的一个模块，可以连接到不同数据源，通过Copy job, Dataflow, Data Pipeline, Notebook等方式对数据进行提取清洗并加载到特定目标中。

这边将尝试一下Data Factory中的Parameterization新特性

2.Parameterization

2.1 配置Pipeline

创建一个Data pipeline用于将数据从一个web url中下载到lakehouse中，

1) 在Pipeline的Parameters 面板中，点击Parameters tab，在对应的面板中，点击New按钮添加一个Parameter

2) 输入Parameter Name, Type, Default value，如下图所示，

3）配置Pipeline中的Delete data activity的Souce,

Connection - 这边选择的是特定的目标lakehouse

File path - lakehouse中的特定路径

4) 点击File path栏对应的输入框，在页面右侧会弹出Pipeline expression builder面板，

5) 在Pipeline expression builder面板中，点击Parameters tab，然后选择步骤2)中配置好的parameter (这边设定的是datapath)

6）配置Copy data activity的Destination，如下图所示，

Connection - 配置到特定的lakehouse的连接

File path - 也是在Pipeline expression builder面板中进行配置的，

2.2 运行Pipeline

1) 验证Data pipeline之后进行保存，然后点击Run按钮启动pipeline，

2) 点击Run按钮之后，在页面右侧会弹出Pipeline run面板，如下图所示，在这里可以对parameter的值进行设定，设定好之后，点击OK按钮

3) 可以在Output中查看pipeline的运行状态，

4）查看目标lakehouse，发现多了一个文件夹data_20250629，同时从web下载的内容也保存这个文件夹中了。

3.总结

本文简单记录了一下Microsoft Fabric Data Factory中Parameterization特性的使用过程。当前随着大语言模型的普及，Copilot也可以用来制作Dataflow, Pipeline了。Microsoft Fabric的知识体系很庞大，当前更新地比较快，后续还需继续跟着微软的老师们学习一下。

本文如果哪里有错误，麻烦告之，谢谢谢谢！