然后在优化器中调用。Adam还有其他的都有weight_decay。

就是这个论文中的regularizers.py中的代码。只要会使用就好。就是要是不是作者代码中的模型的话，model.encoder.fc还需要根据自己的代码修改。

当模型训练一个epoch结束后，对已经更新完毕的模型权重进行限制，如果超过阈值就进行更新，让权重在最大范数的约束下。

我的网络只有一层是线性层idx = idx.squeeze()，idx是(1,1)形状的，squeeze就没了，所以报错，如果有这个原因的可以改成idx = idx.squeeze(1)。maxnorm只改最后两层/一层权重所以，定义了一个列表存储线性层只取最后两层或者一层。