矩阵补全算法在CETA贸易协定评估中的应用：从企业产品组合到贸易转移效应

1. 项目概述：当贸易协定遇上多产品企业

做国际贸易研究或者企业战略分析的朋友，对一个问题肯定不会陌生：一个大型贸易协定（比如CETA，欧盟-加拿大的综合经济与贸易协定）签了，关税降了，市场开了，但具体到一家出口企业，尤其是那些产品线丰富的“多面手”企业，到底会发生什么？是雨露均沾，所有产品出口都增长，还是资源会向某个方向倾斜？更进一步，企业在加拿大市场多卖了的那些货，会不会是从卖给美国、德国的份额里“抠”出来的？这就是典型的贸易转移效应。

传统评估方法，比如简单的“前后对比”或者经典的“双重差分法”（DID），在面对企业-产品-目的地-时间这种四维甚至更高维的面板数据时，常常力不从心。你很难找到一个完美的“对照组”——一家在各方面都和被CETA影响的企业一模一样，只是没受协定影响的企业，这几乎是不可能的。内生性选择问题也如影随形：凭什么有些产品被纳入了CETA减税清单？很可能因为它们本身就更有增长潜力，这就会高估协定的真实效果。

我最近深度研读并复现了一篇运用前沿因果机器学习方法评估CETA的实证研究，感触颇深。它没有回避这些复杂性，而是用“矩阵补全”这把利器，直接去估算每个企业-产品-目的地-时间这个“格子”里，如果没有CETA会发生什么（即“反事实”结果），然后与实际情况对比，得到净效应。这种方法的核心价值在于，它不依赖强假设去寻找对照组，而是利用数据本身的高维结构进行预测和补全，特别适合处理我们这种存在大量缺失值（比如某企业某年没出口某个产品）的贸易数据。

简单来说，这项研究用一套更精细的“显微镜”，观察了CETA生效后，法国多产品出口企业如何在加拿大市场调整其产品阵容，以及这种调整如何涟漪般影响到其他市场。结果既验证了一些经典贸易理论的预测，也给出了不少反直觉的细节。对于关注政策评估方法论、企业国际化战略或欧加贸易关系的朋友，这里面的分析框架和结论都很有嚼头。

2. 核心思路与方案选型：为什么是矩阵补全？

2.1 传统方法的瓶颈与因果推断的升级需求

在动手之前，我们得先搞清楚“敌人”是谁。评估像CETA这样的贸易协定，核心难点是因果识别。我们想测量的是协定的“处理效应”，即“签署协定”这个动作带来的纯影响。但现实中，我们只能观察到企业签署协定后的出口表现，无法同时观察到它“没签署协定”的平行世界里的表现。传统DID方法假设处理组和对照组在趋势上平行，但在企业微观层面，这个假设非常脆弱。不同企业、不同产品的增长路径天生各异。

更棘手的是数据维度。我们的数据单元是（企业i × 产品p × 目的地d × 时间t）。这是一个巨大的、稀疏的矩阵——大部分格子是空的（企业没出口该产品到该地）。我们关心的处理变量（是否受CETA影响）只在部分（i, p, d=加拿大, t≥2016）的格子上生效。如何从这样一个残缺的、高维的数据“立方体”中，可靠地预测出所有格子的反事实值，是问题的关键。

2.2 矩阵补全算法：从推荐系统到政策评估

这项研究采用的矩阵补全算法，灵感来源于Netflix的影片推荐系统。系统需要预测用户对未观看电影的评分，它利用用户-电影评分矩阵中已知的部分，通过分解矩阵发现潜在特征（比如用户偏好、电影类型），来补全缺失的评分。

迁移到我们的场景：把“企业-产品-目的地-时间”的出口额数据视为一个巨大矩阵。CETA生效后的数据（处理组）被有意视为“缺失”，算法利用生效前的数据（控制组）以及未受处理的其他维度信息（如企业向其他国家的出口、其他产品的情况），来学习数据背后的潜在结构（可理解为“企业竞争力”、“产品-目的地匹配度”、“时间趋势”等综合因子），然后预测出如果CETA不存在，那些格子里的出口额应该是多少。

技术细节补充：研究具体采用了Athey等人（2021）的算法框架。其关键步骤是：首先，通过引入高维固定效应（如企业固定效应、产品-目的地固定效应、时间固定效应）来吸收数据中可观测的异质性。然后，对去除固定效应后的残差矩阵进行奇异值分解（SVD），提取低秩因子来捕捉不可观测的协同变动模式。最后，用学习到的模型预测所有“缺失”的反事实值。这个过程通过交叉验证来选择合适的模型复杂度（即因子数量），防止过拟合。

2.3 方案优势与针对性设计

选择矩阵补全，主要基于以下几点考量：

1. 处理高维稀疏数据能力强：无需将数据强行聚合，能直接在微观层面进行操作，保留了最丰富的信息。
2. 缓解内生性担忧：算法利用的是全局数据模式进行预测，不依赖于寻找“相似”的个体作为对照组，从而减轻了因处理组选择非随机（如产品被选入CETA清单可能因其潜力）带来的偏误。
3. 产出丰富的异质性处理效应：最终我们能得到每个企业-产品-目的地-时间单元的处理效应估计，而不仅仅是一个平均效应。这允许我们深入分析效应在不同产品、不同企业类型间的分布。
4. 自然容纳一般均衡分析：由于矩阵包含了多个目的地，在预测加拿大反事实的同时，也预测了其他目的地的反事实。这使我们能直接检验贸易转移效应：观察加拿大出口增长的同时，其他目的地出口是否发生了下降。

研究设计了一个精巧的数据矩阵：行是“企业-产品”对，列是“目的地-时间”对。CETA处理被定义为：在2016年9月（CETA临时生效）后，出口到加拿大的、被列入CETA关税减让清单的产品。所有其他“单元格”（包括加拿大未受惠产品、其他目的地、生效前时期）均作为控制组，用于训练预测模型。

3. 数据处理与模型构建实操要点

3.1 数据准备：从海关数据到分析矩阵

原始数据来源于法国海关的详尽出口记录，涵盖企业标识、产品HS6位码、目的地国家、月度出口价值。研究聚焦于CETA临时生效前后三年（2015-2017年）的数据。

关键操作步骤：

1. 定义“处理”与“控制”：
   • 处理组：对于每个“企业-产品”对，如果该产品在CETA清单内，且该企业在2016年9月后向加拿大出口了该产品，则其在加拿大2016年9月后的所有观测值被标记为“已处理”，其真实值在训练阶段被掩蔽。
   • 控制组：上述情况之外的所有观测值，包括：a) 出口到非加拿大目的地的所有产品；b) 出口到加拿大的非CETA产品；c) CETA生效前所有时期的数据。
2. 构建三维到二维的矩阵：原始数据是（企业×产品×目的地×时间）的四维张量。为了应用矩阵补全，需要将其“扁平化”。一个有效的做法是构建（企业-产品）对作为行，（目的地-时间）作为列的二维矩阵。例如，一行可能代表“企业A的HS 640319（运动鞋）”，一列可能代表“2016年10月的加拿大”。这个矩阵必然是极度稀疏的。
3. 对数化与标准化：为了稳定方差并使模型对极端值不那么敏感，通常对出口额进行加1后的对数变换（log(1+export_value)）。在某些设定下，还需要对数据进行标准化处理，以提升算法收敛速度。

实操心得：定义“处理组”的时间窗口和产品范围需要格外谨慎。研究中将CETA生效后第一年（2016年9月-2017年8月）作为主要评估期，平衡了政策效应充分显现和避免长期其他因素干扰的考量。对于产品范围，必须严格对照CETA的官方关税减让表（HS编码列表），任何误分类都会污染估计结果。

3.2 模型训练与反事实预测

1. 固定效应剥离：首先运行一个高维固定效应回归，从出口额中剔除企业特定效应、产品-目的地特定效应和时间特定效应。这步捕获了大部分可观测的、不随时间变化的异质性和共同时间趋势。
2. 矩阵分解：对剔除固定效应后的残差矩阵进行奇异值分解（SVD）。这相当于在寻找一些潜在的“因子”，比如“全球对某类产品的需求冲击”、“某类企业在特定市场的扩张能力”等，这些因子共同解释了残差中的协同变动。
3. 预测与重构：使用学习到的固定效应和低秩因子，重新预测整个矩阵，包括那些被掩蔽的“处理组”单元格。这些预测值就是反事实估计——假设没有CETA时的出口额。
4. 计算处理效应：对于每个处理单元，处理效应（TET）就是真实观测到的出口额减去模型预测的反事实出口额。正值表示CETA促进了出口，负值则表示抑制。

模型参数选择：一个核心参数是SVD中保留的因子数量（矩阵的秩）。研究中采用了交叉验证的方法：将一部分控制组数据也掩蔽，用不同秩的模型去预测它们，选择预测误差（如均方根误差RMSE）最小的那个秩。这确保了模型既捕捉了重要模式，又不会过度拟合噪声。

3.3 稳健性检验：确保结果可靠

任何严谨的实证研究都必须经过稳健性检验的拷问。该研究主要做了以下几类检验：

1. 安慰剂检验：将“处理时间”虚构在CETA生效之前（如2013年），用同样的模型去估计一个不存在的“政策”效应。如果此时仍能检测到显著效应，说明模型或数据本身有问题。原文附录表A4显示，安慰剂检验结果不显著，这增强了我们对基准结果可信度的信心。
2. 改变控制组构造：替换矩阵中“其他目的地”的选取标准。基准方案是基于贸易额和产品覆盖面的综合排名。稳健性检验中，尝试了仅依据“服务该市场的法国出口商数量”、“进口市场总规模”或“与加拿大的进口结构相似度”来选取目的地。附录表A5显示，核心的集约边际效应估计值（WATET）在[0.94%， 1.22%]区间内保持稳定，与基准的1.28%接近。
3. 改变处理组定义：例如，只将那些出口到加拿大的所有产品都受CETA覆盖的企业定义为处理组。研究发现这样会严重缩小样本，且这些企业本身规模更大，可能引入样本选择偏差，因此坚持了更包容的定义（企业只要至少有一款产品受CETA覆盖即被视为处理组）。
4. 与传统方法对比：研究也报告了标准双重差分法的结果作为参照（附录表B1）。DID估计出的平均处理效应（ATT）在数值和显著性上往往与矩阵补全结果不同，凸显了考虑异质性和更灵活控制组的重要性。

4. 核心发现解析：产品组合调整与贸易转移

4.1 集约边际：整体微增与巨大异质性

首先看最直接的问题：CETA让受惠产品的出口额平均增加了多少？研究计算的加权平均处理效应（WATET）约为1.28%。请注意，这是加权平均，权重是每个产品在CETA生效前一年对加拿大出口额占该企业对该产品总出口的份额。这意味着，原本份额大的产品，其处理效应在平均时占的权重也大。

这个1.28%的增幅虽然统计显著，但经济意义上不算巨大。它告诉我们，平均而言，关税削减带来的直接促进效应是温和的。然而，平均值背后隐藏着惊人的异质性。处理效应（TET）的分布非常分散，既有大幅增长的产品，也有大幅下降的产品。这说明，协定带来的并非普降甘霖，而是深刻的结构性调整。哪些产品增长更多？研究发现，法国在协定前就具有比较优势的产品，增长效应更明显。这符合直觉：关税削减如同卸下枷锁，让强者更强。

4.2 广延边际：产品的“新陈代谢”

除了现有产品的出口量（集约边际），协定还会影响产品的“在位”与“退出”（广延边际）。研究发现，CETA引发了显著的产品更替：

• 产品进入：有13.1%的产品在CETA生效前未对加拿大出口，生效后开始出口。
• 产品退出：同时，有11.9%的产品在生效前出口，生效后停止出口。

这一进一出，比例接近，但并非简单替换。深入分析发现，进出的产品多为贸易弹性较高的产品（即对成本变化更敏感的产品）。这意味着，关税降低后，一些原本处于出口盈亏平衡点边缘的产品得以进入市场；同时，竞争加剧也可能迫使一些竞争力较弱的产品退出。这个发现生动展示了贸易自由化如何激发市场的动态选择过程。

4.3 多产品企业的产品组合策略：向核心聚焦

这是分析中最精彩的部分。对于出口多种产品的企业，CETA带来了什么？研究将企业出口的产品按其在加拿大市场的销售额排序，分别考察排名第一、第二、第三的产品的处理效应。

关键发现（对应原文表8）：

• 整体企业：第一产品（核心产品）平均增长0.886%，效应显著；第二产品效应近乎为零；第三产品有微小但显著的正增长（0.012%）。这说明资源有向头部产品集中的趋势，但并非完全放弃边缘产品。
• 分企业类型看：
  • 制造业企业：核心产品（第一产品）增长0.729%，效应显著；而第二产品出现了微小的负增长（-0.025%）。这强烈支持了“产品组合调整”理论：面对加拿大市场因开放而加剧的竞争，制造企业选择收缩战线，将资源更多配置到最具竞争力的核心产品上。
  • 贸易中间商：三类产品均呈现显著正增长（第一产品0.157%，第二产品0.027%，第三产品0.011%），且增长幅度相对均衡。这是因为贸易中间商本身不生产，其核心能力在于渠道和物流，关税降低使其代理的所有产品线都能受益，无需做出激烈的内部资源再分配。

理论联系实际：这个发现完美印证了Mayer, Melitz & Ottaviano (2014)的理论模型。贸易自由化扩大了市场容量，但也加剧了竞争。企业的最佳应对策略是“聚焦核心”——减少产品种类（范围），集中资源生产并出口其生产率最高的“核心产品”。我们的实证结果为此提供了微观证据。

4.4 一般均衡效应：贸易转移的实证证据

这是评估区域贸易协定（RTA）的经典问题：与加拿大的贸易增加，是否以牺牲与其他国家的贸易为代价？矩阵补全模型因为同时预测了所有目的地的反事实，使得直接检验这一点成为可能。

研究构建了如下回归模型：TET_{其他目的地} = α + β * TET_{加拿大} + γ * 前期出口额 + 误差项核心系数β衡量的是：当某一产品在加拿大的出口因CETA增长（TET_CA为正）时，其在其他目的地的出口变化（TET_其他）如何联动。

结果（对应原文表9）：β估计值约为-1.04，且在统计上高度显著。这意味着，产品在加拿大每增长1美元，平均会导致其在其他目的地的出口减少约1.04美元。这就是清晰的贸易转移证据。进一步分析发现，这种效应主要由贸易弹性高的产品驱动，因为这些产品对相对成本的变化最为敏感。

国别异质性（对应原文表10）：贸易转移效应在不同目的地间强度不同。受影响最大的是美国（β = -1.315），其次是非洲国家集团、德国和意大利。而对中国、西班牙、比利时、英国的出口转移效应较小，对荷兰、瑞士的效应则不显著。这可能反映了法国出口产品结构与这些市场竞争替代性的差异。

5. 方法论的启示与局限

5.1 矩阵补全在政策评估中的优势与挑战

通过这个案例，我们可以深刻体会到矩阵补全这类因果机器学习方法在复杂政策评估中的威力：

主要优势：

1. 灵活处理高维数据与异质性：无需强平行趋势假设，能捕捉个体异质性处理效应。
2. 利用信息高效：通过矩阵分解，充分利用了所有控制单元（包括其他产品、其他目的地、其他企业）的信息来预测反事实，提高了估计效率。
3. 输出丰富：不仅能给出平均效应，还能给出处理效应的完整分布，并自然扩展到对一般均衡效应的分析。

面临的挑战与注意事项：

1. 对数据质量要求高：需要足够大的面板数据维度（大量的企业、产品、时间）来保证矩阵分解的稳定性。数据稀疏性问题虽然能被处理，但过于稀疏会影响预测精度。
2. 模型设定与调参：固定效应的选择、矩阵秩的确定（通过交叉验证）都需要谨慎。不同的预处理和参数选择可能影响结果。
3. 可解释性：相比传统计量模型，矩阵补全更像一个“黑箱”。我们得到了处理效应，但对其背后更精细的机制（如是通过价格还是数量调整）解释力相对较弱，通常需要结合理论或其他实证手段进行补充。
4. 外推性：模型预测依赖于历史数据中的模式。如果政策冲击是前所未有的、结构性的断裂，预测的准确性会下降。

5.2 对实务与研究的启示

对企业和政策制定者：

• 企业：应认识到贸易协定不仅是市场机会，更是竞争格局的重塑。多产品企业需要审慎评估自身产品线，可能需要进行战略聚焦，强化核心优势产品的竞争力。同时，需警惕在开拓新市场时，可能对现有市场造成的挤出效应。
• 政策制定者：在谈判和评估贸易协定时，需超越简单的“贸易创造”总量分析，深入考察其对不同行业、不同企业类型（生产商 vs 中间商）、以及产品组合结构的异质性影响。同时，必须评估贸易转移效应，这关系到协定对全球贸易体系和未参与方的影响。

对研究人员：

• 矩阵补全为处理多维面板数据的因果推断问题提供了强大工具，尤其适用于评估具有异质性处理效应的政策。它不仅是DID的替代，更是在数据维度高、传统对照组寻找困难时的优选方案。
• 将机器学习方法与传统经济学理论紧密结合是关键。本研究的价值不仅在于方法新颖，更在于用实证结果验证了“产品组合调整”、“贸易转移”等经典理论，实现了方法与问题的深度融合。

这项研究为我们提供了一个范本：如何用前沿的计量工具，去回答国际贸易中经典而重要的问题。它告诉我们，CETA的影响远非一个简单的增长百分比可以概括，它触发了企业深层的战略调整和全球贸易流的重新配置。在日益复杂的全球贸易环境中，理解这些微观机制和一般均衡效应，对于做出明智决策至关重要。