Physics-informed Temporal Alignment for Auto-regressive PDE Foundation Models

Congcong Zhu+, Xiaoyan Xu+, Jiayue Han, Jingrun Chen*

原文链接：https://arxiv.org/pdf/2505.10930

开源代码：https://github.com/SCAILab-USTC/PITA

实验室特任副研究员朱聪聪与2024级研究生许笑颜合作完成的最新研究成果《Physics-informed Temporal Alignment for Auto-regressive PDE Foundation Models》已被机器学习领域三大顶会之一、CCF-A类推荐会议 ICML 2025 录用，共同作者包括美国堪萨斯医学院韩佳玥博士，通信作者为陈景润教授。

该项工作聚焦于自回归偏微分方程（Partial Differential Equations, PDE）基础模型在推理过程中的误差累积难题。近年来，自回归 PDE 基座模型在处理动态时变偏微分方程数据方面展现出极大潜力，但由于潜在“捷径”（Shortcut）学习问题，预测误差会在每一步不断放大，导致长期推理结果严重偏离真实轨迹。尤其是在分布外数据场景下，这一问题更加突出。实验表示，在部分下游任务的微调训练中，相比随机初始化参数，模型预训练收益可能出现负优化。

图1. 模型架构图

为此，本研究提出了一种基于物理信息的时序对齐框架 PITA（Physics-informed Temporal Alignment），通过自监督学习将自回归预测与 PDE 发现有机结合，一方面利用预训练模型进行多步预测，另一方面对压缩后的时间序列进行数据驱动的 PDE 方程发现，并在预测序列与真实序列中同时提取物理规律以实现时序对齐。最终采用包含数据损失、物理损失和一致性损失的复合式损失函数，并引入不确定性加权策略，动态调整各部分权重，从而有效抑制误差累积，显著提升模型在分布外长轨迹预测任务中的稳健性与准确性。

图2.与现有自回归基线方法的误差累积对比