复现结果误差过大、训练过拟合的问题

您好，由于启动代码训练困难的原因，我使用了自己的训练代码进行训练，在comp1k测试集的指标远高于您公布的权重模型，在此向您请教一些训练细节。数据集、模型照搬公布的源码，损失函数逐个相加: sum(MattingCriterion().values()).backward() 我复现的指标：MSE: 11.7347 , SAD: 40.7794。（您的指标是3.0和20.33） 首先我用mae_pretrain_vit_base作为预训练权重，将输入通道由3扩为4，新通道采用取平均的数值； 在batch_size = 20，lr= 5e-4，weight_decay= 0.1进行第一组训练。训练损失和测试损失在8个epoch后趋于水平并持续细微下降，Eval指标SAD在第24个epoch时达到最低，然后波动升高； 在第24个epoch以lr=0.1*5e-4继续训练，直到第50个epoch。训练损失和测试损失继续不显著地下降，Eval指标SAD在第40个epoch时达到最低，然后波动升高。 在第40个epoch以lr=0.05*5e-4继续训练，直到第90个epoch。损失持续且不显著下降，测试指标持续且不显著上升，基本可以确定为过拟合，没有得到可用的新权重。 以第40个epoch进行微调，按照您论文中的策略。解码层整体学习率0.05*5e-4，编码层学习率逐层按0.65衰减。也没有得到性能更优的模型。 复现的结果误差太多，请问这个流程是否有错误？期待您的回复。