训练时，学习率下降调整

训练成绩不进步时，我们希望调整学习率，如下：

int batch_size = 32;
float lr =0.01f;

float bijiao = 0;

LeNet LeNet_net(cublas, cudnn, batch_size);
for (int i = 0; i < 80; i++)
{
train(1562, batch_size, lr, LeNet_net, 0, stream, Datasets);
float jilu = test(LeNet_net, stream, DatasetsTest);

if (jilu > bijiao)
{
bijiao = jilu;
}
else
{
lr = lr - 0.01f / 25;
}

std::cout << "learn rate："<<lr << std::endl;
std::cout << "轮次：" << i << std::endl;
}

有时候我们发现，成绩掉下去，虽然调整学习率，有所上升，我们需要稳住学习率，但是上面程序做不到，会一直减小学习率！

所以想，能不能，只对比临时两个值，当成绩上升时，学习率不变，而下降时，学习率也下降，想起来简单，程序有时并不好处理：我想到用堆栈存储临时相邻两值

这个需要用到头文件#include<stack>及变量声明std::stack<float> 记住两次结果;

记住两次结果.push(jilu);
if (2 == 记住两次结果.size())
{
float jg1 = 记住两次结果.top();

记住两次结果.pop();
float jg2 = 记住两次结果.top();

记住两次结果.pop();

//test
if (jg1 < jg2)
{
learningRate -= 0.01f / 25;
}

if(记住两次结果.empty())
记住两次结果.push(jg1);
}

当我们训练两次，栈中就压入两次成绩，然后我们对比后，清空栈底，保留后入，然后再压入一次，栈中又是两个值，很方便！

写到这里，其实我也想到用正态分布函数的半径在局部作用判断应该也可以！