残差突破的机缘巧合（五，cudnn残差类层改正）
残差有实线和虚线区分，我们先搞定简单的残差实线部分！
实线就是残差层类输入输出一样！比如：输入nchw（32*32*32*32）-输出也是nchw（32*32*32*32）
参考了yolo v3的shortcut:
原来的残差类的反向传播主要动作为：
mul << <blocks, threads >> >(grad备用, input2, d_residual, NN);
residual_backprop_kernel << <blocks, threads >> >(grad, grad_input, d_residual, NN);
这两个函数主要完成：d_residual=grad备用*ds（input2）以及
grad_input=grad+d_residual；
标红的部分是惊出一身冷汗的地方！使用yolo v3 shortcut代替，测试正常，改动如下：
mul << <blocks, threads >> >(grad备用, input2, d_residual, NN);
shortcut_gpu(batch, _w, _h, _c, d_residual, _w, _h, _c, grad);
simple_copy_kernel << <blocks, threads >> >(NN,grad, grad_input);
上面的函数前几节已经出现，这里不重复，仅说明：
__global__ void simple_copy_kernel(int size, float *src, float *dst)//这个看上去比较简单，很像图像操作
{
int index = blockIdx.x*blockDim.x + threadIdx.x;
if (index < size)
dst[index] = src[index];
}
用yolo v3 的shortcut改正后，其实并未有什么不同，甚至训练160次，测试成绩反而下降了2分，由73滑落到71！（即有错误的版本跑160训练，test=73，很神奇的事情！）
受到shortcut的启示，我那个cpu的代码立马改成gpu形式，跑了160轮，cifar10测试成绩达到73.62（比73提高了0.62分）！这是我训练cifar以来最好成绩了，当然全部自己写，不算别人说的pytorch下那种80，90的那种！
自己改进残差类代码如下：
mulext << <blocks, threads >> >(NN, _w, _h, _c, batch, _w, _h, _c, input2, _c, grad备用);
residual_backprop_kernel << <blocks, threads >> >(grad, grad_input, grad备用, NN);
第一句话完成乘法 ：grad备用*=ds（input2），第二句话完成加法：grad_input=grad+grad备用
__global__ voidmulext(int size, int minw, int minh, int minc, int batch, int w1, int h1, int c1, float *add, int c2, float *out)
{
int id = (blockIdx.x + blockIdx.y*gridDim.x) * blockDim.x + threadIdx.x;
if (id >= size) return;
int i = id % minw;
id /= minw;
int j = id % minh;
id /= minh;
int k = id % minc;
id /= minc;
int b = id % batch;
int out_index =0+ i + w1*(0+j + h1*(k + c2*b));
int add_index = 0+ i + w1*(0 + j + h1*(k + c1*b));
/*out[out_index] += add[add_index];*/
out[out_index] *= (add[add_index] > 0.0 ? 1.0 : 0.01);
}
自己的东西，不敢说万无一失，还得继续考察，失败是成功之母！