问题1:
optimizer = torch.optim.SGD(filter(lambda p:p.requires_grad, net.parameters()),lr=lr, momentum=0.9, weight_decay=WD, nesterov=True)
与
optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=args.momentum,weight_decay=args.weight_decay)
有什么区别么?
一个是值优化器更新net权重的更新梯度(?),一个是直接更新net权重??为什么要这样区别?有什么意义么?
问题2:
优化器是默认根据定义到loss的内容与某一权重的求导关系来更新此权重的嘛?