py学习日志_生成器

介绍

生成器是用来生成数据的，用一个，生成一个，可节约大量内存空间

实现方式

推导式写法

类似于列表集合推导式，只不过换成了小括号

#列表推导式 #需求：生成1~5的数字 list1=[i for i in range(1,6)] print(list1) #[1,2,3,4,5] print(type(list1)) #<class 'list'> #生成器 #需求：生成1~5的数字 my_generator=(i for i in range(1,6)) print(my_generator) #打印出来的是地址值，不是元组 print(type(my_generator)) #<class 'generator>

yield关键字

临时存储所有数据，并放到生成器中，主要用于函数中，在函数中看到yield，那它就是生成器

#需求：自定义get_list函数，返回一个包含1~5整数的列表 def get_list(): my_list=[] for i in range(1,6): my_list.append(i) return my_list #需求：自定义get_generator函数，返回一个包含1~5整数的生成器 def get_generator(): #推导式写法 #return (i for i in range(1,6)) #yield写法 for i in range(1,6): yield i #把每个i都放到生成器中，函数结束后会返回生成器对象 #yield作用：1.创建生成器 2.把每个i的值放入其中 3.返回生成器

如何使用生成器获取数据

生成器的输出结果可以用指针来理解，从当前位置拿取数据

#方式1：next（）函数，逐个拿去数据 my_generator=(i for i in range(1,6)) print(next(my_generator) #1 print(next(my_generator) #2 #方式2：遍历 for i in my_generator: print(i) #3,4,5

自定义数据迭代器（生成器）

# 需求：读取X.txt中的数据，并按照n条/批次，生成生成器 # 1.自定义data_loader函数，接收每批次的数据条数，获取生成器 import math def data_loader(batch_size): # batch_size:每批次数据条数 # return ：返回生成器 # 1.1读取文件，获得所有数据 with open('D:/X.txt', 'r', encoding='utf-8') as scr_f: data_f = scr_f.readlines() # 一次性读取所有行，放到列表中 # 1.2计算数据总条数 line_all = len(data_f) # 1.3计算数据总批次，总批次=总条数/每批次条数，使用math.ceil()向上取整 batch_count = math.ceil(line_all /batch_size) # 1.4遍历总批次个数，获取每批次编号，例如：一共5批，则编号为：0，1，2，3，4 for batch_id in range(batch_count): # 1.5具体生成每批次的数据，然后通过yield放入生成器中，并返回生成器 yield data_f[batch_id * batch_size:batch_id * batch_size+batch_size]