【pytorch】多GPU训练模型的保存和加载
model = torch.nn.DataParallel(model).cuda() #或者 model = torch.nn.DataParallel(model, device_ids=[1, 2, 3])
多GPU在直接保存模型的时候，如果直接：
torch.save(model.state_dict(), save_dict_path)
加载后的模型参数每个都会带有 module
如果使用strict=False的加载方式，很有可能会使测试结果不同：
model.load_state_dict(weights_dict, strict=False)
解决方法1：
在保存模型的时候使用model.module保存：
torch.save(model.module.state_dict(), save_dict)
加载的时候可直接加载，比如：
checkpoint = torch.load(./weight/BigDtat_BLoss6_0.83.pth, map_location=cpu) model.load_state_dict(checkpoint) model.cuda()
解决方法2：
如果模型已经保存，将模型参数字典中的module替换为空字串进行加载：
checkpoint = torch.load(weight_pth, map_location=cpu)
model.load_state_dict({
k.replace(module., ): v for k, v in checkpoint.items()})
model.load_state_dict(checkpoint)
model = model.cuda()
不要使用model.load_state_dict(weights_dict, strict=False)这种方式，会造成预测预测结果发生变换。
上一篇：
JS实现多线程数据分片下载
下一篇：
Linux中Hadoop的安装与配置