原文作者：灿视，来源公众号：
使用Tricks，节省训练显寸
- 使用inplace操作，比如relu激活函数，我们可以使用inplace=True
- 每次循环结束时候，我们可以手动删除loss，但是这样的操作，效果有限。
- 使用float16混合精度计算，据有关人士测试过，使用apex，能够节省将近50%的显存，但是还是要小心mean与sum会溢出的操作。
- 训练过程中的显存占用包括前向与反向所保存的值，所以在我们不需要bp的forward的时候，我们可以使用torch.no_grad()
- torch.cuda.empty_cache() 这是del的进阶版，使用nvidia-smi 会发现显存有明显的变化。但是训练时最大的显存占用似乎没变。大家可以试试。
- 如使用将batchsize=32这样的操作，分成两份，进行forward，再进行backward，不过这样会影响batchnorm与batchsize相关的层。yolo系列cfg文件里面有一个参数就是将batchsize分成几个sub batchsize的。
- 使用pooling，减小特征图的size，如使用GAP等来代替FC等。
- optimizer的变换使用，理论上，显寸占用情况 sgd<momentum<adam，可以从计算公式中看出有额外的中间变量。
从反传角度考虑
参考陈天奇老师论文：《Training Deep Nets with Sublinear Memory Cost》
在训练的时候，CNN的主要开销来自于储存用于计算 backward 的 activation，一般的 workflow 是这样的：
对于一个长度为 N 的 CNN，需要 O(N) 的内存。这篇论文给出了一个思路，每隔 sqrt(N) 个 node 存一个 activation，中需要的时候再算，这样显存就从 O(N) 降到了 O(sqrt(N))。
对于越深的模型，这个方法省的显存就越多，且速度不会明显变慢。其中本身也有这样的函数实现一样的功能。
可以参考pytorch关于使用梯度检查点节省内存的文章：
补充
对于题目而言，是为了增大 。同样，如果显存真的特别有限，我们怎么办呢？我们也可以将小batchsize 的数据达到大 batchsize的效果。
举个例子，假设由于显存限制的Dataloader的batchsize 只能设为4，想要通过梯度累积实现 batchsize等于16，这需要进行四次迭代，每次迭代的除以4，这里给一个参考代码：
for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cuda(non_blocking=True)
target = torch.from_numpy(np.array(target)).float().cuda(non_blocking=True)
outputs = model(images)
loss = criterion(outputs,target)
# 2.1 loss regularization
loss = loss/accumulation_steps
# 2.2 back propagation
loss.backward()
# 3. update parameters of net
if((i+1)%accumulation_steps)==0:
# optimizer the net
optimizer.step() # update parameters of net
optimizer.zero_grad() # reset gradient
首先，获取loss， 再计算当前梯度，不过我们暂先不清空梯度，使当前梯度加在已有梯度上。当梯度累加到了一定次数之后，最后使用累计的梯度来更新参数。
一定条件下，batchsize 越大训练效果越好，梯度累加则实现了batchsize 的变相扩大。但，增大batchsize的同时，需要我们适当放大学习率。
不过使用accumulation_steps=8的效果是不如真实的batchsize放大8倍，因为增大8倍batchsize的训练图片，其running_mean与running_var更加准确。
参考链接：
-
https://discuss.pytorch.org/t/tensor-to-variable-and-memory-freeing-best-practices/6000/2 -
https://discuss.pytorch.org/t/model-eval-vs-with-torch-no-grad/19615 -
https://github.com/Lyken17/pytorch-memonger -
https://www.zhihu.com/question/274635237 -
https://arxiv.org/pdf/1604.06174.pdf -
https://www.zhihu.com/question/375988016 -
https://www.zhihu.com/question/303070254/answer/573037166