深度学习优化策略

指数移动平均

指数移动平均（Exponential Moving Average, EMA）也叫权重移动平均（Weighted Moving Average），是一种权重的平均方法，该可以方法给予近期数据更高的权重

定义

EMA：$v_t=\beta \cdot v_{t-1}+(1-\beta )\cdot {\theta }_t$$v_{t} = \beta\cdot v_{t-1} + (1 - \beta)\cdot \theta_{t}$

其中，$v_{t-1}$$v_{t - 1}$为$t-1$$t-1$时刻的影子权重，是此前时刻的平均值，${\theta }_t$$\theta_{t}$为当前时刻的权重，$\beta$$\beta$为权值，一般取值范围在$0.9～0.999$$0.9～0.999$

本质

当前时刻的权重可以近似认为是之前梯度和，即

那么EMA的影子权重可以表示为

可以看做是对每次的梯度加权，将学习率动态的减小

动态学习率

Pytorch中的自带的OneCycleLR可以动态的设置学习率，其使用方法较为简单，只需在现有的代码中加入两行代码即可实现。

首先，使用OneCycleLR在定义优化器后定义lr_scheduler

xxxxxxxxxx
optimizer = torch.optim.Adam(optim_params, lr, weight_decay = )
lr_scheduler = torch.optim.lr_scheduler.OneCycleLR(optimizer, ... )

其中，函数的参数有：

• max_lr：学习率变化的上界

• tatal_steps：学习率变化的总步数，如果不提供，需要设置epochs和steps_per_epoch参数

• epochs：训练过程中总的epoch，和steps_per_epoch一起用来计算训练过程中的总步数

• steps_per_epoch：每个epoch中需要训练的步数，计算方法为data_len/batch_size

• pct_start：学习率上升阶段占总步数的比例，默认为0.3

• anneal_strategy：cos或linear，默认为cos

其次，在原代码梯度反传后更新学习率

xxxxxxxxxx
loss.backward()
opyimizer.step()
lr_scheduler.step()

同时，可以通过optimizer.param_groups[0]['lr']获取训练过程中的学习率