【实战 01】任务定义：从经营维度构建 Text2SQL Agent 评测基准

0. 引言：数据分析的“最后一公里”

在大型集团的数字化实践中，BI 看板解决了“看数”的问题，但无法解决“问数”的即时性。业务人员（如置业顾问、项目总、财务经理）往往有大量碎片的、非标的数据需求。

Text2SQL Agent 的使命，就是将这些自然语言需求转化为精准的 SQL 逻辑。但作为 AI 产品经理，我们首先要面对的是：如何定义一套符合企业经营逻辑的“考卷”？

1. 业务场景深度建模：Chinook 的企业化转译

我们选择经典的 Chinook 数据库作为基准，但在测评中，我们将其抽象为三个核心经营领域：

• 人力资本管理 (HRM)：关注组织架构、汇报链条及人员效能（Employee表）。

• 客户生命周期 (CRM)：关注客户分布、服务归属及复购转化（Customer表）。

• 供应链与结算 (Supply Chain)：关注 SKU 管理、订单流向及财务结算（Track,Invoice等表）。

2. 指标拆解：从“写对 SQL”到“算准指标”

在企业环境下，一个合格的 Text2SQL Agent 必须跨越三个逻辑高度：

• 高度 1：基础检索（事实查询）。识别基础实体与属性。

• 高度 2：路径推理（多维关联）。理解业务流转。例如：通过“支持人员”关联到“销售额”，这中间涉及 CRM 与交易系统的跨表逻辑。

• 高度 3：经营逻辑（复杂计算）。处理自关联、嵌套聚合、时间维度的同比环比。

3. 构建测试问题集

为了量化评估不同 Agent 架构在真实业务场景下的表现，我们基于经营分析的逻辑深度，构建了一套多维度的基准测试集（Benchmark）。该测试集包含 10 个梯度化的问题，难度跨度从 1 级（基础检索）到 5 级（复杂决策）。我们为每道题赋予了相应的权重分值（总分 100 分），旨在通过量化的‘综合得分’，直观呈现不同架构在处理复杂 SQL 需求时的鲁棒性与准确率边界。