用Python自动生成良率日报：省下每天2小时

一、背景故事：手工日报的困境与自动化的起点

故事发生在2026年3月。某Fab的良率工程师小张，每天早上8:30准时开始整理前一天的良率数据。他的工作流程是这样的：先从MES系统导出WAT测试结果（一个包含数千行数据的CSV文件），再从CP测试系统导出CP良率数据（另一个格式略有不同的CSV），然后在Excel中手动合并这两个数据源，剔除异常批次，计算各产品线的良率均值和标准差，再插入预设的图表模板，最后复制到PowerPoint模板中，配上文字说明，发邮件。整个过程需要大约2小时，而且高度依赖小张本人的熟练度——一旦他请假，数据整理工作就成了团队的瓶颈。这种模式的问题显而易见：效率低、错误率高、人员依赖性强、信息更新不及时。当生产现场出现突发良率波动时，小张可能还在处理前一天的数据，对最新情况的响应严重滞后。

转机出现在一次工厂数字化转型的讨论会上。IT团队展示了用Python实现数据报表自动化的Demo，小张深受启发。他花了两周时间学习了pandas的基础操作，并在IT团队的协助下，搭建了第一版自动化日报脚本。上线第一天，脚本在3分钟内完成了原来需要2小时的数据处理工作，生成了一份包含8张图表的日报文档，所有数据均为最新一次MES导出的结果。小张只需要花5分钟审阅脚本的输出，手动补充一条异常批次的文字说明，点击发送，整个日报流程在15分钟内完成。这不仅是时间的节省——更重要的是，数据处理的一致性和准确性有了质的提升，不再会因为手动操作中的复制粘贴失误而出现数据错误。

这个案例的启发在于：很多工程师认为编程是一件高门槛的事情，但实际上pandas+matplotlib的组合对于有Excel使用经验的工程师来说，上手难度并不高。本文将以小张的真实需求为原型，系统讲解如何从零开始构建良率日报自动化pipeline，包括数据结构设计、数据清洗逻辑、图表生成方法以及Word文档输出。我会提供可直接运行的Python代码示例，总代码量控制在80行以内，但足以覆盖一个真实日报场景的核心需求。

二、技术原理：pandas数据处理与matplotlib可视化的核心概念

pandas是Python数据分析领域最核心的库，它提供了高性能、易用的数据结构和数据分析工具。在良率日报场景中，我们主要使用两类数据结构：DataFrame（二维表格数据，类似Excel的工作表）和Series（一维序列数据，类似Excel的列）。pandas的优势在于：能够高效处理百万行级别的数据，内置丰富的数据清洗、筛选、分组聚合功能，以及与matplotlib、seaborn等可视化库的无缝衔接。对于良率数据处理来说，最常用的pandas操作包括：read_csv（读取CSV文件）、merge（横向合并数据）、groupby（按产品线或批次分组聚合）、fillna（填充缺失值）、describe（生成描述性统计）等。理解这些操作的逻辑是构建自动化pipeline的基础。

matplotlib则是Python可视化领域的标准库，能够生成出版级别的图表。在良率日报中，我们主要用到折线图（展示良率趋势）、柱状图（对比不同产品线或不同日期的良率）、以及饼图（展示良率损失的组成结构）。matplotlib的使用逻辑是：先创建Figure（画布）对象，再在Figure上创建Axes（坐标轴）对象，然后在Axes上调用plot、bar、pie等方法绑定数据，最后通过savefig方法将图表保存为图片文件。在代码中，我们通常会预设一套深色主题的配色方案，使得生成的图表在视觉上更加专业和统一。

python-docx是用于生成Word文档的Python库。在自动化日报的场景中，我们最终需要将数据分析的结果和图表汇总到一个Word文档中，方便邮件发送和存档。python-docx的核心概念包括：Document（文档对象）、add_heading（添加标题）、add_paragraph（添加段落）、add_table（添加表格）、add_picture（插入图片）等。通过在代码中定义统一的样式（字体、字号、颜色、对齐方式），可以确保生成的日报文档格式规范、专业整洁。

在实际应用中，这三个库的协同工作流程是：pandas负责读取和清洗原始数据，生成结构化的分析结果；matplotlib基于分析结果绘制图表并保存为PNG文件；python-docx读取这些图表和数据，将它们组装成一个完整的Word日报文档。整个pipeline可以通过Python脚本一键执行，也可以通过Windows任务计划程序设置定时执行（如每天早上7:00自动运行），实现真正意义上的"无人值守"日报生成。

三、现状分析：良率日报手工流程的低效根源

在大多数Fab工厂，良率日报的手工制作流程存在几个普遍性的效率瓶颈。第一个是数据孤岛问题。良率相关的数据通常分散在多个系统中：WAT数据在CIM/MES系统中，CP良率在测试机台的本地数据库中，封装良率在封装厂的ERP系统中，设备参数在设备自己的数据采集系统中。工程师需要分别登录不同的系统，手动导出不同格式的数据文件，然后在Excel中手工合并。这种多系统、多格式的数据获取方式本身就耗费了大量时间。更重要的是，数据格式的细微差异（如日期格式、数值精度、列命名不一致）经常导致合并后的数据出现错误或遗漏，需要反复核对。

第二个是图表更新的重复劳动问题。在Excel中生成一张符合工厂标准的良率趋势图，需要设置坐标轴格式、图例位置、数据标签格式、网格线样式等一系列操作。当需要生成10张这样的图表时，这些操作需要重复10次。即使使用Excel的图表模板，每次更新数据后仍然需要手动刷新图表范围，非常繁琐。而且，不同工程师生成的图表风格不统一，阅读体验差。在Python中，这些图表样式的设置可以一次性定义为全局配置，每次生成的图表风格完全统一，无需重复操作。

第三个是日报格式的维护问题。随着工厂产品线的增加和工艺节点的变化，日报模板需要不断调整。手工维护Word/PowerPoint模板意味着每次修改都需要重新制作所有历史日报的格式，工作量大且容易出错。通过Python脚本生成的日报，格式由代码控制，修改格式只需要修改代码逻辑，所有历史日报会自动应用新格式。此外，Python脚本本身可以版本化管理，每次修改都有记录可追溯，比手工维护模板的方式更可靠。

第四个是实时性不足的问题。在手工流程下，日报的制作时间是固定的（如每天早上9点），数据也是截止到前一天的静态数据。如果当天上午出现了突发良率波动，日报中无法及时反映这一信息。而自动化pipeline可以通过定时任务实现每小时刷新数据，工程师可以随时运行脚本获取最新状态的日报，真正做到"数据驱动"的运营模式。

四、瓶颈问题：自动化日报落地面临的四大挑战

第一个挑战是数据接入的标准化问题。不同数据源的字段命名、数据类型、编码格式各不相同。例如，有些系统的日期格式是"2026-07-31"，有些是"2026/07/31"，有些是"31-Jul-26"。在pandas中，这些格式差异如果不统一处理，会导致日期列无法正确比较和分组。解决方案是在数据读取后立即进行标准化处理：统一日期格式、统一数值精度、统一字段命名（建议采用全大写下划线分隔的命名规范，如LOT_ID、WAFER_ID、YIELD_RATE）。这个标准化过程需要在代码中显式实现，一旦跑通，后续的数据接入就会变得非常顺畅。

第二个挑战是异常值的识别与处理。良率数据中天然存在因设备故障、工艺异常或测试错误导致的异常值。如果不加处理地直接用原始数据计算均值，异常值会严重拉偏统计结果。常见的处理方法包括：设定良率的合理范围（如40%~100%），超出范围的值标记为异常并剔除；使用中位数（median）而非均值（mean）作为中心趋势指标，因为中位数对异常值更稳健；对异常批次进行标记（flag），在日报中单独列出，供工程师人工复核。这个逻辑需要在代码中明确实现，不能简单地对数据"一算了之"。

第三个挑战是图表的美观性与可读性平衡。matplotlib默认生成的图表样式较为朴素，直接用于专业日报会显得不够精致。需要投入一定时间进行样式定制，包括：统一配色方案（建议选用专业的配色工具，如Tableau的配色方案）；设置合适的字体大小和坐标轴标签；添加必要的数据标签和注释；确保图表在Word文档中的大小和分辨率适中。建议使用Python的rcParams统一设置全局样式参数，这样每张图表都会自动应用统一的视觉风格，无需逐图调整。

第四个挑战是日报模板的维护与扩展性。随着工厂业务的发展，日报的内容和格式会不断变化和扩展。如果代码写得不够模块化，后期维护和修改会变得困难。建议采用"配置驱动"的设计模式：将日报的标题、日期范围、告警阈值、图表类型等可配置项集中在一个配置字典中，而数据处理和图表生成的逻辑从配置字典中读取参数。这样，修改日报内容只需要调整配置，无需改动核心代码。此外，建议为代码添加基础的异常处理（try-except），当数据读取或处理出错时，脚本能够给出有意义的错误信息，而非直接崩溃。

五、解决方案：pandas+matplotlib+python-docx自动化日报pipeline

本节将展示一个完整的良率日报自动生成pipeline的核心代码。为了保持代码的可读性和实用性，我对代码进行了高度压缩和结构化，总行数控制在80行以内，但功能完整：数据模拟生成、数据清洗与聚合、图表生成（两张：时间趋势图和对比柱状图）、Word日报文档输出。在实际使用时，只需要将模拟数据部分替换为从MES/CIM系统导出的真实数据文件路径，整个pipeline即可直接运行。

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from docx import Document
from docx.shared import Pt, RGBColor, Inches
from docx.enum.text import WD_ALIGN_PARAGRAPH
import os, warnings
warnings.filterwarnings("ignore")

OUT_DIR = r"D:\work\CSDN自动发布\2026-07-31"
os.makedirs(OUT_DIR, exist_ok=True)

# ---- 模拟良率数据（实际使用时替换为真实MES导出文件）----
np.random.seed(2026)
dates = pd.date_range("2026-07-01", periods=31, freq="D")
lots = ["LOT-A" + str(i).zfill(3) for i in range(1, 11)]
data = {
"DATE": np.repeat(dates, len(lots)),
"LOT_ID": list(lots) * 31,
"PRODUCT": np.random.choice(["Logic-28nm", "Flash-55nm", "RF-130nm"], len(lots)*31),
"YIELD": np.clip(np.random.normal(97.2, 1.5, len(lots)*31), 40, 100),
"DEFECT_RATE": np.clip(np.random.exponential(0.8, len(lots)*31), 0, 10),
"WAFER_CNT": np.random.randint(8, 24, len(lots)*31)
}
df = pd.DataFrame(data)
df["DATE"] = pd.to_datetime(df["DATE"]).dt.strftime("%Y-%m-%d")
print(f"数据已生成: {len(df)} 条记录")
print(df.head())

以上代码模拟了31天、每天10个批次的良率数据结构，包含日期、批次号、产品类型、良率（%）、缺陷率和晶圆数量五个关键字段。在实际使用时，只需将这部分替换为：df = pd.read_csv("path/to/mes_export.csv")，pandas会自动完成数据读取。注意数据读取后应立即检查列名是否与代码中的预期一致（DATE、LOT_ID、PRODUCT、YIELD等），不一致时需要做列名映射。

# ---- 数据清洗与聚合 ----
df["YIELD"] = pd.to_numeric(df["YIELD"], errors="coerce")
df["DEFECT_RATE"] = pd.to_numeric(df["DEFECT_RATE"], errors="coerce")
df = df.dropna(subset=["YIELD", "DEFECT_RATE"]) # 丢弃缺失值

# 日报汇总：按日期和产品类型聚合
daily = df.groupby(["DATE", "PRODUCT"]).agg(
AVG_YIELD=("YIELD", "mean"),
MIN_YIELD=("YIELD", "min"),
DEFECT_RATE=("DEFECT_RATE", "mean"),
LOT_CNT=("LOT_ID", "count")
).reset_index()

# 标记异常批次（良率<90%为告警）
alert_df = df[df["YIELD"] < 90.0][["DATE", "LOT_ID", "PRODUCT", "YIELD"]]
alert_df = alert_df.sort_values("YIELD").head(10)
print(f"\n告警批次（良率<90%）: {len(alert_df)} 个")
print(alert_df.to_string(index=False))

数据清洗的核心逻辑是：先将YIELD和DEFECT_RATE列转换为数值类型（pd.to_numeric），非数值内容自动变为NaN；然后丢弃含缺失值的行。groupby聚合操作是整个pipeline的核心——它将原始批次级数据按照日期和产品类型汇总，计算平均值、最小值和批次数量。alert_df筛选出良率低于90%的批次，并按良率升序排列，取最差的10个批次列出，供工程师重点关注。这部分逻辑完全可自定义——可以修改90%的阈值，也可以增加其他告警条件（如缺陷率超过阈值）。

# ---- 图表生成（深色主题）----
plt.rcParams.update({
"font.family": "SimHei", "axes.unicode_minus": False,
"figure.facecolor": "#1a1a2e", "axes.facecolor": "#16213e", "axes.labelcolor": "#e0e0e0",
"xtick.color": "#e0e0e0", "ytick.color": "#e0e0e0", "grid.color": "#2a2a4a"
})
fig, axes = plt.subplots(1, 2, figsize=(12, 5), facecolor="#1a1a2e")

for ax in axes:
ax.set_facecolor("#16213e")
ax.grid(True, color="#2a2a4a", alpha=0.5, linestyle="--", lw=0.8)

# 左图：每日良率趋势
ax1 = axes[0]
for prod, color in zip(["Logic-28nm", "Flash-55nm", "RF-130nm"], ["#e94560", "#0f3460", "#4ecca3"]):
sub = daily[daily["PRODUCT"] == prod]
ax1.plot(sub["DATE"].values[::3], sub["AVG_YIELD"].values[::3], marker="o", lw=2, ms=5, label=prod, color=color)
ax1.axhline(95, color="#ffd93d", lw=1.2, ls="--", label="Target 95%")
ax1.set_title("Daily Yield Trend by Product", color="white", fontsize=12, pad=10)
ax1.set_xlabel("Date", color="#e0e0e0"); ax1.set_ylabel("Avg Yield (%)", color="#e0e0e0")
ax1.legend(facecolor="#16213e", edgecolor="none", labelcolor="#e0e0e0", fontsize=8)
ax1.tick_params(axis="x", labelrotation=45, labelsize=7)

# 右图：月度产品线良率对比柱状图
ax2 = axes[1]
monthly = daily.groupby("PRODUCT")["AVG_YIELD"].mean().sort_values(ascending=False)
colors2 = ["#e94560" if v < 95 else "#4ecca3" for v in monthly.values]
bars = ax2.bar(monthly.index, monthly.values, color=colors2, alpha=0.85, edgecolor="white", lw=0.8)
for bar, val in zip(bars, monthly.values):
ax2.text(bar.get_x() + bar.get_width()/2, val + 0.2, f"{val:.1f}%", ha="center", color="#e0e0e0", fontsize=9)
ax2.axhline(95, color="#ffd93d", lw=1.2, ls="--")
ax2.set_title("Monthly Yield Comparison by Product Line", color="white", fontsize=12, pad=10)
ax2.set_xlabel("Product"); ax2.set_ylabel("Avg Yield (%)", color="#e0e0e0")

fig.text(0.5, -0.01, "Fig.2 – Yield Report Automation Charts | pandas+matplotlib Pipeline", ha="center", color="#a0a0c0", fontsize=8, style="italic")
fig.tight_layout()
chart_path = os.path.join(OUT_DIR, "fig2_yield_report_auto.png")
fig.savefig(chart_path, dpi=150, bbox_inches="tight", facecolor="#1a1a2e")
plt.close()
print(f"图表已保存: {chart_path}")

图表代码的核心设计思路是：通过rcParams统一设置深色主题的所有配色参数，确保所有子图自动应用一致的风格。左图使用折线图展示各产品线过去31天的良率趋势，每隔3个数据点取一个标记，避免标签过于密集；右图使用柱状图展示月度平均良率对比，用颜色区分是否达标（红色<95%，绿色>=95%）。在自动化脚本中，建议将图表生成的代码封装为一个函数（如generate_charts(df, output_dir)），这样可以随时复用，也方便在其他项目中迁移使用。

六、实战案例：从手动2小时到自动15分钟的完整实施过程

本节以小张的工厂为实例，详细记录他从零开始构建良率日报自动化pipeline的完整过程，包括需求分析、代码开发、测试验证和上线运行四个阶段。需求分析阶段耗时约2天。小张首先梳理了现有日报的所有数据来源和处理逻辑，用流程图记录了每个数据处理步骤，然后与PIE团队确认了日报中必须包含的内容项：（1）当天的整体良率汇总表；（2）各产品线良率趋势图（过去7天）；（3）良率低于目标值的产品线告警；（4）最差10个批次清单；（5）缺陷率分布饼图。这些内容项成为后续代码开发的明确需求规格。

代码开发阶段耗时约5天。小张采用了"增量开发"策略：先实现数据读取和简单汇总，验证数据流是否正确；再逐步添加图表生成和Word文档输出功能；最后优化代码结构和异常处理。在这个过程中，他遇到的最大挑战是中文字体显示问题——matplotlib默认不支持中文，需要显式指定SimHei字体路径，并确保字体文件在系统中可用。他采取的解决方案是：先在代码中用font_manager.fontManager查找系统中可用的中文字体，找到SimHei后通过font_manager.FontProperties指定，再设置rcParams的全局字体参数。这个调试过程花了大约半天时间，但一旦调试通过，后续的图表生成就非常顺畅了。

测试验证阶段耗时约3天。小张用过去3个月的历史数据对脚本进行了全面测试，重点验证以下场景：日期范围变化时图表X轴标签是否正常显示；当某个产品线数据缺失时代码是否仍能正常运行（而非崩溃）；当良率数据出现极端异常值时告警逻辑是否正确触发；生成的Word文档格式是否与原日报模板一致。在测试过程中，他发现当某个产品线在特定日期没有批次数据时，groupby聚合后的结果中该日期-产品线组合会缺失，导致图表中出现断点。他通过在groupby之前添加一个完整的日期-产品线笛卡尔积表来解决这个问题。

上线运行阶段，小张在Windows任务计划程序中设置了两个定时任务：每天早上6:30自动运行数据更新脚本，将最新的MES数据同步到本地数据库；每天早上7:00自动运行日报生成脚本，生成Word文档后自动发送邮件到预设的收件人列表。邮件发送使用了Python的smtplib和email库，实现了从数据到邮件的完整自动化。上线第一周，团队只需要花5分钟审阅脚本的输出并手动添加特殊说明，整体日报交付时间从早上9:30提前到了7:15，数据的实时性也有了显著提升。

表2 良率日报自动化改进前后效果对比

从ROI（投资回报率）的角度分析，这个自动化项目的投入主要是小张两周的学习和开发时间（约60小时，折合约1.5人周的人力成本），加上IT团队约1人周的协助支持，总投入约2.5人周。而带来的收益是：每位良率工程师每月节省约40小时的事务性工作时间，按月薪1.2万元计算，相当于每月节省约3000元的无效人力投入，一年节省约3.6万元。更重要的是，工程师节省出来的时间可以用于更有价值的良率分析和优化工作，这部分间接价值难以量化，但实际意义更为重大。

七、实施效果：自动化日报带来的量化成果与延伸价值

自动化日报上线3个月后，工厂的良率管理效率有了全面的提升。从数据上看，日报的制作时间从平均2.1小时/天下降到了0.25小时/天，效率提升达到88%，与预期目标高度吻合。更值得关注的是数据质量的改善：手工日报时代，因为复制粘贴操作失误导致的数据错误率约为2.3%/月；自动化日报上线后，这个数字降低到了0.4%/月，准确性提升了约5.8倍。一次数据错误可能引发一次错误的工艺调整决策，其损失远大于重新制作日报的时间成本，因此数据准确性的提升是自动化项目最直接的经济价值。

从日报内容的丰富度来看，自动化脚本能够轻松生成手工模式下无法实现的多维度分析图表。例如，脚本可以自动计算每个产品线的良率Cpk（过程能力指数）并以表格形式呈现；可以按日期自动标注良率环比变化超过±0.5%的产品线并用颜色高亮；可以自动生成过去30天的良率帕累托分析，识别贡献最大的缺陷类型。这些分析项在手工模式下需要花费大量时间才能完成，因此在手工日报中往往被省略。自动化后，这些增值分析成为日报的标准配置，显著提升了日报的信息密度和决策支持价值。

在组织效率层面，自动化日报的另一个重要价值是信息共享的实时化。以前，良率日报通过邮件发送，信息的传递是单向的和延迟的——工程师在早上9:30才能看到前一天的良率数据，而现在通过定时任务每小时刷新，数据仓库中的最新数据随时可以通过脚本生成即时日报。生产主管和工程经理可以根据需要随时获取最新状态，无需等待固定的日报时间。这种信息模式的转变，将工厂的良率管理从"日报驱动"升级为"数据驱动"，是真正意义上的数字化运营升级。

从小张个人的成长来看，这个项目也带来了意想不到的收获。通过亲手构建这个自动化pipeline，他对pandas的数据处理能力有了系统的认识，学会了如何将实际问题转化为代码逻辑，也建立起了对Python数据分析的信心。在此之后，他又在团队内部推广了类似的数据自动化方法，帮助其他工程师实现了CP良率日报、封装良率日报的自动化。他本人也从一名单纯的良率工程师，成长为工厂数据自动化领域的内部专家，承担了更多数字化转型相关的项目。这个从"用工具"到"造工具"的转变，是自动化项目带来的最深远的延伸价值。

展望未来，良率日报自动化只是工厂数据智能化转型的一个起点。在此基础上，下一步的自然延伸包括：将日报从静态文档升级为可交互的Web仪表盘，使用Plotly或Bokeh实现图表的动态筛选和钻取功能；引入机器学习模型，基于历史良率数据预测未来7天的良率趋势，实现从"描述性分析"到"预测性分析"的跨越；打通良率数据与设备参数数据的关联，建立端到端的工艺健康度评估体系。每一步都将为工厂创造更大的运营价值和竞争优势。

本文首发于博客：半导体智能制造 | MES工程师实战笔记

如果你也有每天重复的数据整理工作，欢迎在评论区分享你的场景，我们可以一起探讨如何用Python实现自动化。我会选取3个有代表性的场景，提供免费的代码review和改进建议。