Nature新风口：PINN+知识蒸馏！思路学好转头就发顶会，新组合就是好上分

今天给大家推荐一个顶会顶刊新赛道：PINN+知识蒸馏！这是个典型的交叉领域，完美契合实际痛点，再加上研究维度丰富，易出创新点，非常适合作为论文选题！

目前这方向发文量不大，但关注度正在迅速提升，顶刊NC和顶会CIKM最近都有高质量成果发表：Ψ-NN框架让PINN性能大幅提升（训练迭代次数↓50%，误差↓95%）、PKD-STTN模型实现多要素预报精度SOTA。

如果想快速找到思路，建议学习这些高质量工作，从算法层面、应用层面或理论层面切入，更容易找到创新点。这里为方便大家研究的进行，我筛选了11篇PINN+知识蒸馏前沿论文，相信看完你的idea就有了。

全部论文+开源代码需要的同学看文末

【Nat Commun】Automatic network structure discovery of physics informed neural networks via knowledge distillation

研究方法：研究提出Ψ-NN模型，以PINN构建教师网络学习偏微分方程的物理约束，借助知识蒸馏将物理信息迁移至学生网络并解耦物理与参数正则化，再通过聚类和参数重构从学生网络中提取并嵌入具有物理意义的网络结构，实现PINN物理约束与网络结构的自动发现融合。

创新点：

• 以PINN为教师网络做物理约束学习，通过物理感知蒸馏将物理信息迁移至学生网络，解耦物理与参数正则化，解决二者梯度冲突问题。

• 对学生网络施加L2正则化实现参数收敛，结合聚类方法提取具有物理意义的低秩参数矩阵，挖掘参数间物理关联。

• 构建关系矩阵编码参数物理关联，通过网络重构嵌入物理结构，让网络天生具备物理一致性，提升结构的适应性与迁移性。

研究价值：研究提出基于知识蒸馏的PINN网络结构自动发现方法Ψ-NN，实现了物理约束向网络结构的内生嵌入，大幅提升了PDE建模的精度与训练效率，降低了对人工先验知识的依赖，为结构化神经网络的高效建模与自动发现提供了新视角，也为物理信息驱动的机器学习研究拓展了新思路。

【CIKM】Spatio-Temporal Transformer Network with Physical Knowledge Distillation for Weather Forecasting

研究方法：论文提出 PKD-STTN 模型，将PINN思想融入微分方程网络构建教师网络以挖掘大气运动的物理机制，再通过知识蒸馏将教师网络的物理知识嵌入到含三个并行注意力模块的时空 Transformer 学生网络的蒸馏位置编码中，实现物理知识与数据驱动方法的融合以提升天气预报精度。

创新点：

• 结合PINN构建微分方程教师网络，将大气系统演变建模为势能场演化，挖掘气象变化的物理机制并提供物理先验。

• 设计含语义空间、地理空间、时间三个并行注意力模块的时空Transformer学生网络，解耦空间依赖，精准提取气象数据的多维度时空特征。

• 提出蒸馏位置编码策略，将教师网络的物理知识嵌入学生网络位置编码，不影响其特征提取能力，实现物理与数据驱动方法的融合。

研究价值：研究提出融合物理知识蒸馏的时空Transformer天气预报模型，有效结合物理驱动与数据驱动方法的优势，提升了天气预报的准确性，为气象预测领域的模型设计提供了物理融合数据驱动的新思路与新方法。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏