矩阵补全与因果推断：评估贸易协定效应的前沿方法与实践

1. 项目概述：当贸易协定遇上因果推断，我们如何看清真实影响？

做贸易政策评估这行久了，最头疼的就是“识别”问题。一个贸易协定签了，双边贸易额涨了，你很难说清这增长里有多少是协定本身的功劳，有多少是全球经济复苏、汇率波动或者企业自身战略调整带来的。传统的计量方法，比如双重差分法（DID），在处理像《欧盟-加拿大全面经济贸易协定》（CETA）这样复杂的政策冲击时，常常力不从心。为什么？因为企业进入加拿大市场、选择出口哪些产品，这些决策本身就不是随机的——那些更有竞争力、更看好加拿大市场的企业，会更积极地利用CETA的关税减免。这就是令人头疼的内生性问题，它会让简单的“前后对比”或“实验组-对照组”比较产生严重偏差。

我最近深度研究并复现了一篇采用前沿因果机器学习方法评估CETA效应的论文，其核心思路让我眼前一亮。它不再满足于给出一个“平均”的政策效果，而是试图回答更精细的问题：CETA对法国出口商具体哪些产品产生了影响？影响有多大？对不同类型的企业（比如生产商和贸易中介）效果一样吗？更重要的是，对加拿大的出口增加，会不会是以牺牲对其他国家的出口为代价？这就是贸易理论中经典的“贸易转移”效应。要回答这些问题，你需要一个能同时处理产品、企业、目的地、时间四个维度的分析框架，并且能为每一个在现实中受到政策影响的“单元”（比如某家法国企业在2017年向加拿大出口的某种特定产品）构建一个假设它“未受政策影响”的反事实状态。这正是矩阵补全这类因果机器学习方法的用武之地。

简单来说，这项研究把法国海关的微观贸易数据（谁、在什么时候、向哪里、出口了什么、价值多少）组织成一个巨大的、存在缺失值的矩阵。CETA覆盖的产品-企业组合，其政策实施后的数据被视为“缺失”。研究通过算法，利用矩阵中其他未受政策影响的数据所蕴含的时空模式和关联结构，来预测这些缺失值，也就是反事实结果。将预测值与实际观测值对比，就能得到每个单元个体化的处理效应。加总平均，就得到了整体平均处理效应（WATET）。这种方法的美妙之处在于，它以一种数据驱动的方式，部分缓解了内生性困扰，并让我们得以窥见政策效应背后的巨大异质性。接下来，我将为你层层拆解这个项目的设计思路、实操细节、核心发现以及那些在复现过程中必须留意的“坑”。

2. 核心方法论：矩阵补全如何为贸易政策评估“补全”反事实？

要理解这项研究，关键在于吃透“矩阵补全”在这个场景下的应用逻辑。这不仅仅是套用一个现成的算法包，而是需要根据经济问题的特点进行精心的数据重构和模型设定。

2.1 从经济问题到数据矩阵：构建一个多维度的分析沙盘

研究的起点是法国海关的详尽交易数据。每一笔记录都包含企业ID、产品HS6位码、目的地国家、月份和出口价值。CETA于2017年9月21日临时生效，这为我们提供了一个清晰的政策冲击时间点。

核心操作是构建一个多维面板数据矩阵。研究并非简单地将所有数据堆砌在一起，而是针对“产品层面集约边际”（即现有出口流量的变化）这一核心问题，为每一个受到CETA影响的HS6位产品单独构建了一个矩阵。这个矩阵的维度是：

• 行（i）：出口该产品的法国企业。
• 列（j）：一个综合了时间（t）和目的地（d）的维度。具体来说，研究涵盖了2015年1月至2018年8月共44个月份，以及包括加拿大在内的16个核心目的地（10个法国主要贸易伙伴+5个大洲聚合区域）。因此，列的总数是 44个月 × 16个目的地 = 704列。
• 矩阵元素（Y_ij）：企业i在特定月份向特定目的地出口该产品的金额（取对数处理以平滑数据）。

在这个矩阵中，哪些数据被视为“缺失”呢？所有在CETA生效后（2017年10月及以后），向加拿大出口的、且该产品属于CETA清单的企业-产品记录。这些就是我们需要预测的反事实：假设CETA没有生效，这些出口流量的值会是多少？

注意：这里有一个精妙的处理。并非所有企业对加拿大出口的CETA产品都自动成为处理组。研究将“处理”定义为：一家企业在CETA生效前（2015-2016年）就向加拿大出口了至少两种产品，且其中至少有一种属于CETA清单。这确保了处理组企业是活跃的、有多元化产品组合的出口商，其行为变化更能反映政策影响，而非偶然进入或退出。

2.2 算法核心：带有固定效应的矩阵分解

研究采用的算法基于Athey等人（2021）的框架，其核心思想可以用以下公式概括：

Y = L + γ_i + δ_j + ε

其中：

• Y是我们观察到的（含缺失的）数据矩阵。
• L是一个低秩矩阵，通过奇异值分解（SVD）得到，它捕捉了数据中潜在的共同因子和模式（例如，某些企业集群和某些目的地-时间组合之间存在相似的出口趋势）。
• γ_i是企业固定效应，控制所有不随时间、目的地变化的企业特质（如企业固有的出口能力、管理效率）。
• δ_j是“列”固定效应（即目的地-时间联合固定效应），控制所有不随企业变化的宏观因素（如某个特定月份全球对某产品的需求冲击、或某个目的地国的整体经济状况）。
• ε是 idiosyncratic 误差项。

实操中的关键步骤：

1. 去均值化：首先从原始数据矩阵中减去行（企业）和列（目的地-时间）的均值，以初步控制固定效应。这一步至关重要，能显著提升后续低秩矩阵L的估计效率。
2. 低秩矩阵估计：对去均值化后的矩阵进行奇异值分解（SVD），寻找最能拟合观测数据的低秩近似。这相当于在降维后的空间中捕捉数据的主要协变模式。
3. 迭代优化：通过交替最小二乘法（ALS）等迭代算法，不断优化固定效应和低秩矩阵的估计，直至收敛。目标是最小化观测数据点的预测误差。
4. 反事实预测：利用最终估计出的γ_i、δ_j和L，为矩阵中所有缺失的“处理单元”（即CETA生效后对加拿大的CETA产品出口）生成预测值Y_hat。
5. 计算处理效应：个体处理效应（ITE）即为实际观测值Y减去反事实预测值Y_hat。加权平均后，即得到加权平均处理效应（WATET），权重是每个产品在该企业CETA生效前对加拿大出口总额中的份额。

2.3 为什么选择矩阵补全？与传统方法的对比

在复现和思考这个方法时，我深刻体会到它相对于传统DID的几大优势，这也是研究设计的精髓：

• 处理高维异质性：DID通常依赖分组（处理组/对照组）和双向固定效应，但难以灵活控制企业-产品-目的地-时间四维交织的异质性。矩阵补全通过低秩结构L，以一种非参数的方式吸收了这些复杂的交互影响。
• 构建更合理的反事实：DID的反事实通常是对照组的平均路径。而矩阵补全为每一个处理单元都构建了一个独特的反事实，这个反事实综合了与该单元相似的其他所有单元（包括不同企业、不同时间、不同目的地）的信息。例如，一家法国汽车零部件企业在2018年3月对加拿大的出口反事实，可能由德国市场同期的趋势、该企业之前对美国的出口模式、以及其他类似企业在其他时间的表现共同“合成”。
• 适用于稀疏数据：贸易数据中零值很多（企业并非每月向每个目的地出口所有产品）。矩阵补全算法天然适合处理这种含有大量缺失值的矩阵，而DID在面对大量零值时估计可能不稳定。

当然，这个方法对计算资源和数据质量要求极高。在复现中，我最初尝试用普通笔记本电脑跑全量数据（数千产品×数万企业×704列），内存立刻告急。一个重要的实操心得是：必须分产品并行计算。由于每个产品的矩阵是独立估计的，这为分布式计算提供了完美条件。我们可以利用高性能计算集群或云服务器，将成千上万个产品的矩阵补全任务分发到多个核心同时进行，效率能提升数十倍。

3. 数据准备与处理：微观贸易数据的“精雕细琢”

再好的算法，没有干净、结构化的数据也是空中楼阁。这项研究的数据处理流程堪称典范，其中几个细节决定了分析的成败。

3.1 数据来源与关键变量

核心数据是法国海关的进出口月度交易记录。每条记录包含：

• firm_id: 企业匿名标识符。
• date: 交易月份（精确到月）。
• product: HS6位码商品编码。
• destination: 目的地国家代码。
• value: 出口价值（欧元）。
• quantity: 出口数量（可选，本研究主要关注价值）。

此外，需要两个关键的外部匹配数据：

1. CETA产品清单：一份明确的HS6位码列表，标明哪些产品在CETA生效后享受关税减免。这是定义“处理”的核心依据。
2. 企业行业分类（NACE Rev. 2）：用于区分制造业企业和贸易中介（批发商、零售商，NACE 45-47）。这是后续进行异质性分析（见表8）的基础。

3.2 数据清洗与矩阵构建的实操要点

从原始交易记录到可供矩阵补全算法使用的面板数据矩阵，需要经过多步转换，每一步都有坑。

第一步：时间窗口与样本筛选研究聚焦于CETA临时生效前后各约两年（2015年1月-2018年8月）。这个窗口期选择很有讲究：太短，不足以捕捉政策效果的动态调整；太长，容易混杂其他宏观经济冲击。在清洗时，要特别注意样本的平衡性。对于每个产品，我们只保留在这个时间窗口内至少出现过一次的企业-目的地对。对于从未向加拿大出口过该产品的企业，其在“加拿大”列的所有值自然为缺失或零，这部分数据对预测处理组的反事实贡献有限，但保留它们有助于更准确地估计企业固定效应和低秩结构。

第二步：定义“集约边际”与“广延边际”这是贸易文献中的经典区分，本研究也分别处理：

• 集约边际分析（核心）：只关注在CETA生效前（如2016年）就已经存在的企业-产品-目的地出口关系。分析这些关系在政策后的流量变化。在构建矩阵时，对于处理组（加拿大，CETA产品），政策生效后的数据被设为缺失；对于其他所有情况（非CETA产品、非加拿大目的地），数据保持完整。
• 广延边际分析：分析企业是否新增或退出某个产品-目的地市场。这需要构建一个0/1矩阵（出口为1，不出口为0），同样应用矩阵补全来预测企业进入或退出的概率反事实。

第三步：处理零值、缺失值与对数化微观贸易数据中零值泛滥。直接取对数会遇到log(0)的无穷大问题。常见处理方法是log(1 + value)，但这会扭曲小额交易。本研究采用的方法是：在构建价值矩阵时，只包含正交易记录，缺失和零值在矩阵中统一表示为“缺失”。算法在补全时，会基于模式预测出一个连续值（可能很小），这比粗暴地加1取对数更合理。然后，在计算处理效应时，再将预测值转换回原始尺度（取指数）。这个过程在复现时需要格外小心，确保对数变换和反变换的一致性。

第四步：权重计算计算WATET时，权重是每个产品在企业对加拿大总出口中的份额（基于CETA生效前一年的数据）。这意味着，即使处理效应相同，一个占企业出口80%的核心产品，其对整体效应的贡献也远大于一个只占1%的边缘产品。在代码实现中，务必在矩阵补全前就计算好这些权重并妥善存储，因为补全后的个体效应需要与之精确匹配。

踩坑实录：我第一次复现时，试图用一个“万能”的大矩阵包含所有产品，结果不仅计算崩溃，而且固定效应的估计被严重稀释。后来严格按照论文方法，按产品循环构建和估计矩阵，虽然循环次数多，但每个矩阵维度可控，固定效应估计更干净，结果也稳定得多。这印证了“分而治之”在处理高维微观数据时的有效性。

4. 核心发现深度解读：CETA效应的多维度透视

完成复杂的模型估计只是第一步，如何解读那些系数和表格，并提炼出有经济学意义的结论，才是研究的价值所在。下面我结合论文中的关键表格，带你深入解读。

4.1 产品层面：平均效应微小，但异质性巨大

表8（在输入材料中）报告了核心结果：CETA对法国出口产品集约边际的加权平均处理效应（WATET）为1.28%。这个数字初看很小，但统计上显著。它意味着，平均而言，一项CETA清单上的产品，在协定生效一年后，其对加拿大的出口额比假设没有CETA的情况下高出约1.28%。

但“平均”掩盖了真相。图12（在输入材料中提及的分布图）显示，个体处理效应（TET*_ipt）的分布非常分散，既有大幅正增长的产品，也有显著负增长的产品。这说明CETA的影响绝非普惠。那么，哪些产品受益更大？研究进一步发现，在CETA生效前法国就具有比较优势的产品，其增长效应更明显。这符合直觉：关税削减如同降低了赛场栏杆，原本就跑得快的选手（优势产品）能冲得更远。而那些本就缺乏竞争力的产品，即使有关税减免，可能也难敌来自加拿大本土或其他国家的竞争。

4.2 企业层面：多产品企业的战略聚焦

这是研究最精彩的发现之一，完美印证了贸易理论（如Mayer et al., 2014）。多产品企业面对贸易自由化带来的加剧的竞争，会如何调整其产品组合？

表8给出了清晰答案：

• 对全部企业：第一出口产品（通常也是最大、最具竞争力的产品）平均增长0.886%（弱显著），第二产品无显著变化，第三产品有微小但显著的增长（0.012%）。这表明资源在向头部产品倾斜。
• 对制造业企业：效应更集中。第一产品增长0.729%，第二产品甚至出现微小负增长（-0.025%）。制造业企业调整成本高，更倾向于“聚焦核心”。
• 对贸易中介：效应更平均且均为正（第一产品0.157%，第二0.027%，第三0.011%）。贸易中介灵活性高，可以同时推动多个产品的销售，但增长幅度相对较小。

背后的经济学逻辑：CETA降低了进入加拿大市场的成本，吸引了更多竞争者。为了在更“拥挤”的市场中保持利润，企业会重新配置其有限的营销、分销和售后服务资源，从边缘产品向“明星产品”集中，以巩固和扩大核心产品的市场份额。数据显示，CETA后，法国出口商的第一产品占其对加总出口的份额从70%上升到了77%，这就是“产品组合调整”的直观体现。

4.3 一般均衡效应：捕捉贸易转移的明证

这是传统评估方法很难稳健识别的部分，而本研究的框架巧妙地做到了。思路是：既然我们为每个产品在每个目的地（包括加拿大和其他国家）都估计了处理效应，那么就可以检验，一个产品对加拿大出口的增长，是否伴随着对其他国家出口的下降。

表9的回归模型TET_{pdt} = α + β TET_{CA,pt} + γ Value_{dp,t-1} + η_{dpt}正是为此设计。其中TET_{pdt}是产品p在非加拿大目的地d的处理效应（货币值），TET_{CA,pt}是同一产品在加拿大的处理效应。

核心发现：系数 β 显著为负（约 -1.042）。这意味着，一个产品在加拿大因CETA而增加的出口，平均伴随着其对其他目的地大致同等规模的出口减少。这就是贸易转移效应：与加拿大的贸易部分替代了与第三国的贸易。

表10进一步揭示了这种转移的异质性：对美国的影响最大（系数-1.315），其次是非洲、德国和意大利。对中国、西班牙等国的影响较小，对荷兰和瑞士的影响则不显著。这很可能与法国出口产品的结构、以及这些目的地市场与加拿大市场的相似度（竞争关系）有关。

解读心得：这个发现具有重要政策含义。它提醒我们，贸易协定的福利影响是复杂的。对法国和加拿大整体可能是积极的，但对于那些被“转移”掉的贸易伙伴（如美国、非洲国家），可能意味着福利损失。评估一项贸易协定，不能只看双边贸易额，还必须将其放在全球价值链和贸易网络的背景下，考察其再分配效应。

5. 稳健性检验与模型陷阱：如何确保结果可信？

任何严谨的实证研究都必须经受稳健性检验的拷问。本研究在这方面做得相当全面，我们在复现和解读时也应遵循同样的严谨性。

5.1 安慰剂检验：时间反事实

最大的担忧是“内生性选择”：是不是那些本来就增长潜力大的产品，更可能被列入CETA清单？如果是这样，我们观察到的增长可能只是趋势的延续，而非政策效果。

检验方法：进行一次“虚假”的政策实验。将“政策生效时间”虚构在CETA实际生效之前（例如，设为2014年9月），然后用同样的方法去估计这个虚假政策点的“处理效应”。

结果：如附录表A4所示，在虚假政策点上，所有产品大类的WATET估计值均不显著，且正负混杂。这强有力地支持了我们的核心结论：2017年观察到的增长确实是CETA带来的，而非产品自身趋势。

5.2 模型设定检验：算法与样本的敏感性

1. 算法变体：论文对比了包含固定效应和不包含固定效应的矩阵补全算法。发现包含固定效应的版本预测误差更小（RMSE更低），但核心结论（WATET符号和显著性）是稳健的。这证明了控制企业异质性和宏观冲击的必要性。
2. 样本定义：如果改变“处理企业”的定义，只将那些出口加拿大的所有产品都受CETA覆盖的企业视为处理组，结果会怎样？论文尝试后发现，样本量急剧缩小（仅剩59%），且这些企业本身就是更大的出口商，会引入严重的样本选择偏差。因此，作者坚持了更包容的基线定义（至少出口两种产品，其中一种受CETA影响）。这给我们一个教训：在定义处理组时，要在政策相关性和样本代表性之间取得平衡，避免定义过于严格导致样本失真。

5.3 矩阵结构检验：目的地选择的影响

在检验贸易转移效应时，非加拿大目的地的选择是否会影响结论？论文尝试了三种替代方案：

1. 按服务该目的地的法国出口商数量排名。
2. 按进口结构与加拿大的相似度排名。
3. 按进口市场规模排名。

附录表A5和A6显示，虽然集约边际的WATET点估计值略有波动（在0.94%到1.22%之间），但贸易转移效应的负向关系在大多数设定下依然稳健。只有当选择与加拿大进口结构高度相似的目的地时，转移效应变得不显著。作者的解释是合理的：这些市场与加拿大本身竞争性不强，因此替代效应弱。这反而从侧面印证了贸易转移发生的逻辑——它更可能发生在相互竞争的市场之间。

6. 实操复现指南与常见问题排查

如果你也想用类似的方法评估其他政策，以下是我在复现过程中总结的步骤和踩过的坑。

6.1 分步复现流程

1. 数据获取与清洗：

   • 获取微观贸易交易数据（海关数据或企业调查数据）。
   • 获取政策干预清单（如关税减让表）。
   • 清洗数据：统一产品编码（如协调到HS6位），处理异常值和缺失值，匹配企业行业信息。
   • 定义处理组和对照组。关键：明确你的“处理”是什么（哪些企业/产品/时间/目的地组合）。

2. 构建数据矩阵：

   • 确定分析维度（如企业×（目的地-时间））。
   • 为每个分析单元（如每个产品）循环操作：
     • 筛选出涉及该产品的所有企业-目的地-时间记录。
     • 将长格式数据转换为宽格式矩阵，行是企业，列是目的地-时间组合。
     • 根据政策定义，将处理单元对应的矩阵元素标记为缺失（NaN）。

3. 实现矩阵补全算法：

   • 可以使用现成的Python包，如fancyimpute中的IterativeSVD，或scikit-learn的IterativeImputer配合SVD策略。
   • 强烈建议自己实现带固定效应的版本，参考Athey et al. (2021)的算法。核心是交替迭代估计固定效应和低秩矩阵。
   • 伪代码逻辑：

     # 初始化 Y_obs = 观测矩阵（含NaN） M = 缺失值掩码（1为观测，0为缺失） # 迭代直至收敛 for iter in range(max_iters): # 1. 给定当前低秩矩阵L，估计行、列固定效应（通过减去行、列均值） row_means = np.nanmean(Y_obs - L, axis=1) col_means = np.nanmean(Y_obs - L, axis=0) Y_demeaned = Y_obs - row_means[:, None] - col_means[None, :] # 2. 对去均值后的矩阵进行SVD，得到新的低秩矩阵L U, S, Vt = randomized_svd(Y_demeaned * M, n_components=rank) # 仅用观测值 L_new = U @ np.diag(S) @ Vt # 3. 检查收敛 if np.linalg.norm(L_new - L) < tol: break L = L_new # 最终补全矩阵 Y_hat = L + row_means[:, None] + col_means[None, :]

4. 计算处理效应与统计推断：

   • 个体处理效应 = 观测值 - 反事实预测值。
   • 加权平均处理效应（WATET）= Σ(权重_i * 个体效应_i) / Σ(权重_i)。
   • 统计推断（标准误、显著性）：通常采用刀切法（Jackknife）或自助法（Bootstrap）重抽样。由于矩阵补全是高维估计，直接计算标准误困难，需要通过重复抽样（如对企业和/或产品进行重抽样）来构建处理效应的经验分布。

6.2 常见问题与解决方案速查表

6.3 对从业者的最终建议

经过这次完整的复现和深度解读，我对运用因果机器学习进行政策评估有了更切实的体会：

第一，理论驱动是灵魂，数据是肉身，算法是工具。不能因为有了强大的矩阵补全算法，就忽视对经济理论（如产品组合调整、贸易转移）的把握。正是理论指引我们去构建合适的数据矩阵、定义处理组、并解释那些系数背后的故事。算法帮我们更干净地识别效应，但“识别什么”和“为什么”需要经济学直觉。

第二，稳健性检验不是走过场，而是构建可信度的基石。安慰剂检验、改变模型设定、变换样本定义……这些看似繁琐的工作，每一项都是在向读者证明：你看，我这个结果不是碰巧跑出来的，它在各种合理的挑战下依然站得住脚。尤其是在使用相对新颖的机器学习方法时，更要主动、透明地进行这些检验。

第三，拥抱复杂性，但呈现要简洁。微观数据和高维模型必然带来复杂的结果。我们的任务不是把所有的异质性都堆给读者，而是像这篇研究一样，用清晰的表格（如表8分企业类型）、直观的图表（如图12的效应分布）、和层层递进的分析（从平均效应到企业异质性再到一般均衡），引导读者理解最核心的发现。记住，最好的分析是那些能用一个简洁的机制故事串联起所有复杂结果的分析。

这项研究为我们打开了一扇窗，让我们看到因果推断前沿方法如何赋能传统的贸易政策分析。它不再满足于回答“政策有没有用”，而是深入探究“对谁有用、怎么有用、以及代价是什么”。对于政策制定者而言，这种细颗粒度的评估有助于设计更具针对性、更能平衡各方利益的贸易协定；对于企业而言，理解这些调整机制，也能更好地在贸易自由化的浪潮中规划自己的全球产品与市场战略。