当前位置：首页 > news >正文

开篇：数据处理绕不开的合并与拼接

news 2026/7/24 12:38:04

在Python数据分析工作中，我们经常会遇到分散在不同文件、不同DataFrame中的数据，想要挖掘数据价值，第一步往往是把这些零散的数据整合到一起。数据合并与拼接是数据预处理阶段的核心操作，掌握合适的技巧能大幅提升我们的工作效率。今天就结合实际场景，聊聊Python中数据合并与拼接的常用方法和进阶技巧。

🧩 基础拼接：用`concat`实现简单数据堆叠

pandas库中的concat函数是实现数据拼接最基础的工具，它可以沿着指定轴（行或列）将多个对象堆叠到一起，适合处理结构相似的数据集。

1. 纵向拼接（行方向）

当我们有多个字段完全一致的数据集，比如不同月份的销售数据，就可以用纵向拼接把它们合并成一个完整的年度数据：

Python

复制

import pandas as pd # 模拟两个结构相同的数据集 df1 = pd.DataFrame({ '订单号': ['A001', 'A002'], '销售额': [1000, 1500], '日期': ['2026-01-01', '2026-01-02'] }) df2 = pd.DataFrame({ '订单号': ['A003', 'A004'], '销售额': [800, 2000], '日期': ['2026-02-01', '2026-02-02'] }) # 纵向拼接 result = pd.concat([df1, df2], ignore_index=True) print(result)

这里的ignore_index=True会重置合并后数据的索引，避免出现重复索引的问题。

2. 横向拼接（列方向）

如果是两个记录主体相同但字段不同的数据集，比如用户基础信息表和用户行为记录表，就可以用横向拼接整合：

Python

复制

df_user = pd.DataFrame({ '用户ID': ['U001', 'U002'], '姓名': ['张三', '李四'] }) df_behavior = pd.DataFrame({ '用户ID': ['U001', 'U002'], '浏览次数': [10, 25], '购买次数': [1, 3] }) # 横向拼接 result = pd.concat([df_user, df_behavior], axis=1) print(result)

需要注意的是，横向拼接时要确保两个数据集的索引对应一致，否则可能会出现数据错位的问题。

🔗 关联合并：用`merge`实现精准匹配

concat更适合结构相似数据的堆叠，而当我们需要根据某个或多个关键字段进行数据关联时，merge函数就派上用场了，它类似于SQL中的JOIN操作，能实现更精准的数据合并。

1. 内连接（Inner Join）

内连接只保留两个数据集中关键字段匹配成功的记录，这是最常用的合并方式：

Python

复制

df_order = pd.DataFrame({ '订单号': ['A001', 'A002', 'A003'], '用户ID': ['U001', 'U002', 'U003'], '金额': [1000, 1500, 800] }) df_user = pd.DataFrame({ '用户ID': ['U001', 'U002', 'U004'], '姓名': ['张三', '李四', '王五'] }) # 基于用户ID进行内连接 result = pd.merge(df_order, df_user, on='用户ID') print(result)

运行后只会保留用户ID为U001和U002的记录，U003和U004因为在对方数据集中没有匹配项，会被过滤掉。

2. 左连接（Left Join）

左连接会保留左表的所有记录，右表中匹配不上的字段会填充为NaN，适合需要保留主数据集全部信息的场景：

Python

复制

result = pd.merge(df_order, df_user, on='用户ID', how='left') print(result)

此时订单表中的所有记录都会被保留，U003对应的姓名字段会显示为NaN。

3. 多关键字段合并

当单个关键字段无法唯一匹配时，可以指定多个关键字段进行合并，比如同时根据订单号和日期匹配：

Python

复制

df_detail = pd.DataFrame({ '订单号': ['A001', 'A001', 'A002'], '日期': ['2026-01-01', '2026-01-01', '2026-01-02'], '商品': ['手机', '耳机', '电脑'] }) result = pd.merge(df_order, df_detail, on=['订单号', '日期']) print(result)

🚀 进阶技巧：提升合并效率与处理复杂场景

1. 处理重复列名

当两个数据集存在同名但含义不同的字段时，可以通过suffixes参数给合并后的列名添加后缀区分：

Python

复制

df1 = pd.DataFrame({ '用户ID': ['U001', 'U002'], '金额': [1000, 1500] }) df2 = pd.DataFrame({ '用户ID': ['U001', 'U002'], '金额': [800, 2000] }) result = pd.merge(df1, df2, on='用户ID', suffixes=('_订单', '_退款')) print(result)

2. 大数据集合并优化

当处理超大数据集时，直接合并可能会导致内存不足，此时可以分批次合并，或者先对数据进行筛选：

复制

# 分批次读取并合并大数据 chunks = [] for chunk in pd.read_csv('large_data.csv', chunksize=10000): merged_chunk = pd.merge(chunk, df_user, on='用户ID') chunks.append(merged_chunk) result = pd.concat(chunks, ignore_index=True)