当前位置：首页 > news >正文

AI_Python基础-6.迭代器与生成器

news 2026/5/27 3:32:12

Python 迭代器与生成器

标签： #Python #迭代器 #生成器 #yield #延迟计算
学习周期：1 天 | 核心目标：理解迭代协议，掌握生成器实现延迟计算，对比列表推导式与生成器表达式的内存差异

3.2 迭代器与生成器

迭代器与生成器是 Python 中高效处理序列数据的核心工具，核心优势是延迟计算（惰性求值）—— 不一次性生成所有数据，而是按需生成，大幅节省内存（尤其适合处理海量数据）。

3.2.1 可迭代对象（`iter`）与迭代器（`next`）

核心概念对比

类型	核心特征	关键方法	示例
可迭代对象	能被`for`循环遍历，可生成迭代器	`__iter__()`：返回迭代器	`list`、`str`、`tuple`、`dict`、`set`
迭代器	可逐个返回元素，可记录遍历位置，只能遍历一次	`__next__()`：返回下一个元素；`__iter__()`：返回自身	`iter(list)`、文件对象、生成器对象

判断可迭代对象和迭代器

fromcollections.abcimportIterable,Iterator lst=[1,2,3]print(isinstance(lst,Iterable))# True（可迭代）print(isinstance(lst,Iterator))# False（不是迭代器）it=iter(lst)# 获取迭代器print(isinstance(it,Iterator))# True

手动使用迭代器

lst=[1,2,3]it=iter(lst)# 获取迭代器print(next(it))# 1print(next(it))# 2print(next(it))# 3# print(next(it)) # StopIteration 异常

`for`循环的工作原理

# for 循环等价于：it=iter(可迭代对象)whileTrue:try:value=next(it)# 执行循环体exceptStopIteration:break

自定义迭代器

classMyIterator:def__init__(self,start,end):self.current=start self.end=enddef__iter__(self):returnselfdef__next__(self):ifself.current>self.end:raiseStopIteration temp=self.current self.current+=1returntemp my_iter=MyIterator(1,3)fornuminmy_iter:print(num)# 1, 2, 3# 再次遍历（迭代器已耗尽，无输出）fornuminmy_iter:print(num)

易错点说明

可迭代对象 ≠ 迭代器：可迭代对象需要通过iter()转换为迭代器才能手动遍历。
迭代器只能遍历一次：遍历结束后指针停在最后，无法重置，需重新创建迭代器。
for循环的底层逻辑：先调用iter(可迭代对象)生成迭代器，再循环调用next()，直到捕获StopIteration异常，自动终止循环。

3.2.2 生成器函数（`yield`）—— 延迟计算，节省内存

生成器是一种特殊的迭代器，使用yield关键字定义。生成器函数在每次调用next()时执行到yield暂停并返回一个值，下次调用从暂停处继续。

核心特性

延迟计算：只在需要时生成值，节省内存。
状态保持：函数内的局部变量在每次yield之间保持。
无限序列：可以表示无限大的序列（如斐波那契数列）。

基本用法

defmy_generator(start,end):current=startwhilecurrent<=end:yieldcurrent current+=1gen=my_generator(1,3)# 创建生成器对象，函数体不会立即执行print(type(gen))# <class 'generator'>print(isinstance(gen,Iterator))# True# 手动遍历print(next(gen))# 1print(next(gen))# 2print(next(gen))# 3# print(next(gen)) # StopIteration# for 循环遍历（推荐）fornuminmy_generator(1,3):print(num)# 1, 2, 3

生成器实现斐波那契数列（节省内存）

deffibonacci(limit):a,b=0,1whilea<limit:yielda a,b=b,a+bfornuminfibonacci(100):print(num,end=" ")# 0 1 1 2 3 5 8 13 21 34 55 89

生成器的进阶方法（`send`、`close`）

defecho():whileTrue:received=yieldprint(f"收到：{received}")gen=echo()next(gen)# 预激生成器，执行到第一个 yieldgen.send("Hello")# 收到：Hellogen.send("World")# 收到：Worldgen.close()# 关闭生成器

应用场景

处理海量数据（如读取超大文件、生成百万级随机数），避免内存溢出。
惰性计算场景：批量处理数据，不需要一次性获取所有结果。
替代列表推导式：当数据量较大时，用生成器替代列表推导式。

3.2.3 生成器表达式

生成器表达式类似于列表推导式，但使用圆括号()而不是方括号[]。它返回一个生成器对象，而不是一次性创建列表，适合处理大量数据。

语法

(expressionforiteminiterableifcondition)

示例与对比

# 列表推导式：立即生成所有值，占用内存squares_list=[x**2forxinrange(10)]print(squares_list)# [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]# 生成器表达式：延迟计算，不占内存squares_gen=(x**2forxinrange(10))print(squares_gen)# <generator object <genexpr> at 0x...>forvalinsquares_gen:print(val,end=" ")# 0 1 4 9 16 25 36 49 64 81# 一次性转换为列表（失去生成器的优势）squares_list2=list(x**2forxinrange(10))

内存对比

importsys# 列表推导式：立即分配内存list_comp=[xforxinrange(1000000)]print(sys.getsizeof(list_comp))# 约 8 MB# 生成器表达式：几乎不占内存gen_exp=(xforxinrange(1000000))print(sys.getsizeof(gen_exp))# 约 104 字节

与高阶函数配合

# 计算 1 到 1e6 的平方和（无需创建巨大列表）total=sum(x**2forxinrange(1,1000001))print(total)# 找出 1 到 1e6 中能被 7 整除的最大数max_val=max(xforxinrange(1,1000001)ifx%7==0)print(max_val)

实战场景：逐行读取大文件

defread_large_file(file_path):return(line.strip()forlineinopen(file_path,"r",encoding="utf-8"))# 使用：按需读取，内存占用极低forlineinread_large_file("large_file.txt"):print(line)# 逐行处理

易错点说明

生成器表达式的圆括号不能省略，否则会变成普通表达式。
生成器表达式也是“一次性的”，遍历结束后无法重复使用，需重新定义。
数据量小且需要多次访问时用列表推导式；数据量大且只需遍历一次时用生成器表达式。

3.2.4 迭代器、生成器与列表推导式的选择

场景	推荐方案	原因
数据量小，需要多次遍历	列表推导式	值已存储在内存中，访问快
数据量大，只需遍历一次	生成器表达式或生成器函数	节省内存，延迟计算
需要复杂逻辑控制	生成器函数（`yield`）	可暂停、保持状态，代码清晰
需要向生成器发送数据	生成器函数 +`send()`	双向通信