【刘二老师】pytorch深度学习笔记【08加载数据集】
一、概念
- 用一个样本的随机梯度下降。
优点：可以克服鞍点问题，性能好；缺点：是计算速度慢，优化时间长。 - 全部样本都用的Batch。
优点：最大化的利用向量并行计算的优势，计算速度快；缺点：无法克服鞍点，性能会较差。 - 把上面两个综合起来，得出mini-Batch，综合了速度和性能。
二、架构原理
（一）
![]()
- 内层每一次循环执行一个mini-Batch，迭代；外层表示训练的周期；两层组成嵌套循环。
- Epoch：完整跑完整个数据集所有样本一遍 = 1 个 Epoch
- Batch-Size：单次前向 + 反向传播，一次性扔进模型的样本（部分样本) 数量。
- Iteration：内层循环跑一次 = 1 次 Iteration，也就是有多少个Batch（=总样本数 / Batch-Size）
![]()
![]()
（二）DataLoader
![]()
- Dataset（数据集类）
存原始数据，负责「取单个样本」＆「告知总共有多少样本」 - DataLoader（数据加载器）
批量打包、打乱、多线程加载，负责把 Dataset 组装成训练用的一批一批数据 - 数据集 Dataset 需要支持索引，使 Dataloader 能访问到里面的每一个元素。
- 如果数据集 Dataset 不能下标索引（比如只能从头到尾流式读取、不能跳着取），DataLoader 就没法随机采样、打乱数据。
- Dataloader 还需要知道 Dataset 的长度。
- DataLoader 计算一个 epoch 需要跑多少个批次：总批次数 = 总样本数 ÷ batch_size
- 限制随机下标范围：不会生成超过数据集总数的索引，防止取数据时报错。
- shuffle：打乱数据集顺序。
- 分组：因为如图batch-size为 2，意味着两个一组，做成可迭代的Loader。
第一次迭代给Batch1，第二次迭代给Batch2……
三、代码及详细讲解
importtorchimportnumpyasnpfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader# prepare datasetclassDiabetesDataset(Dataset):def__init__(self,filepath):xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)self.len=xy.shape[0]# shape(多少行，多少列)，取0就是把有多少行拿出来让我们知道self.x_data=torch.from_numpy(xy[:,:-1])#要前八列self.y_data=torch.from_numpy(xy[:,[-1]])#要最后一列def__getitem__(self,index):returnself.x_data[index],self.y_data[index]#python中的return x，y就是返回一个元组（x，y）def__len__(self):returnself.lendataset=DiabetesDataset('diabetes.csv')#括号中是数据文件路径train_loader=DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=0)#num_workers 多线程#与上节课的一样classModel(torch.nn.Module):def__init__(self):super(Model,self).__init__()self.linear1=torch.nn.Linear(8,6)self.linear2=torch.nn.Linear(6,4)self.linear3=torch.nn.Linear(4,1)self.sigmoid=torch.nn.Sigmoid()defforward(self,x):x=self.sigmoid(self.linear1(x))x=self.sigmoid(self.linear2(x))x=self.sigmoid(self.linear3(x))returnx model=Model()# construct loss and optimizercriterion=torch.nn.BCELoss(reduction='mean')optimizer=torch.optim.SGD(model.parameters(),lr=0.01)# training cycle forward, backward, updateif__name__=='__main__':#不写这行会报错，要把下面的迭代代码封装到一个if语句中（或函数中），不能直接写这个循环。forepochinrange(100):fori,datainenumerate(train_loader,0):# train_loader 是先shuffle后mini_batch#enumerate是为了获得当前是第几次迭代#train_loader中的（x，y）元组就直接放到data中，而且train_loader直接把x，y转换成张量，所以不用加tensor。inputs,labels=data#inputs---x；labels----y，都是张量。y_pred=model(inputs)loss=criterion(y_pred,labels)print(epoch,i,loss.item())#backwardoptimizer.zero_grad()loss.backward()#updateoptimizer.step()
（一）
fromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader
- Dataset 是抽象类，无法实例化，实例化 ds=Dataset（）会报错。因此要通过子类去继承 Dataset 来使用。
- Dataloader 可以实例化。Dataloader 的功能是加载数据，分批、打乱数据，因此通过实例化来实现这个功能。
（二）
def__getitem__(self,index):returnself.x_data[index],self.y_data[index]
- getitiem魔法方法：索引取样本，index是样本下标。
（三）
def__len__(self):returnself.len
- len魔法方法：返回数据集总长度，调用len(dataset)时执行，返回总样本数量。
（四）
def__init__(self,filepath):
- 在构造数据集时，init下面有两种选择：
- 小数据（csv、小文本）：__init__全量加载数据到内存，取样本直接内存读取，快、费内存；
- 超大图像 / 分割数据：__init__只存文件路径，不取真实数据，取样本时临时读硬盘，慢、省内存。
- _init_：创建数据集对象时只运行 1 次.
- _getitem_(index)
- 在小数据时：不用读硬盘，直接从内存取出第 i 组 x、y 返回。
- 在大数据时：根据 index 拿到第 i 张图片路径，临时从硬盘读取图片。
（五）
train_loader=DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=0)
- Dataloader初始化代码，写四个方面：
- 传递数据集，把定义的数据集对象dataset传进去。
- batch_size:32，定义一个数据集的小批量有多少。
- 是否要shuffle（打乱）
- num_workers：读数据集构成mini-Batch时，是否要用多线程。也就是要不要并行，要几个并行。
四、MNIST数据集举例
![]()
- datasets里面有MNIST类，用这个类来构造MNIST实例。
- root：路径；要训练集还是测试集；ToTensor：转张量，缩放到（0，1）或（-1，1）这样的区间；download：如果没有这个数据集，要连线下载。
- 训练数据集中，通常要shuffle；测试时不shuffle，输出的每一次顺序一样，方便观察结果。
- 最后一行就是对loader进行迭代。
五、kaggle作业
![]()
