MATLAB数据清洗实战：从Excel到干净数据的完整流程（附代码）
MATLAB数据清洗实战：从Excel到干净数据的完整流程（附代码）
数据科学项目中，80%的时间都花在了数据清洗上——这个行业共识在MATLAB工作流中同样适用。想象一下这样的场景：你从业务部门拿到一份销售数据Excel表格，准备进行季度分析，却发现产品名称拼写不一致、日期格式混乱、某些单元格显示"NULL"或"待补充"。这时候，一套高效的MATLAB数据清洗流程就能让你从这种"数据灾难"中解脱出来。
不同于简单的代码片段展示，本文将带你体验工业级数据清洗的完整生命周期。从Excel数据导入开始，到最终输出分析就绪的干净数据集，每个环节都配有可立即投入使用的MATLAB代码。特别适合刚开始接触数据分析的工程师、科研人员，以及需要快速交付分析结果的职场人士。
1. 数据导入：从Excel到MATLAB工作区
数据清洗的第一步往往被忽视，却至关重要——正确导入数据。MATLAB提供了多种函数读取Excel文件，选择合适的方法能避免后续90%的格式问题。
% 最佳实践：使用readtable保持数据结构 rawData = readtable('sales_data.xlsx', 'TextType', 'string'); % 检查导入结果 disp('前5行数据预览:'); head(rawData, 5)readtable函数会自动识别Excel中的表头作为变量名，并将各列转换为适当的数据类型。关键参数'TextType', 'string'确保文本以字符串格式存储，避免传统字符数组的兼容性问题。
常见导入问题及解决方案：
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
| 中文乱码 | 编码不匹配 | 添加'FileEncoding'参数 |
| 日期识别错误 | 区域格式差异 | 指定'InputFormat' |
| 科学计数法失真 | 数值过大 | 使用'Format','auto' |
提示：对于大型Excel文件（超过50万行），考虑使用
datastore函数进行分块处理，避免内存溢出。
2. 数据质量评估：发现隐藏的问题
导入数据后不要立即开始清洗，先进行全面"体检"。这个阶段需要回答三个关键问题：缺失值分布如何？数据范围是否合理？是否存在明显的逻辑矛盾？
% 综合诊断报告 missingPattern = ismissing(rawData); disp(['缺失值占比: ', num2str(mean(missingPattern)*100), '%']); % 数值型变量统计摘要 summary(rawData(:, isvartype(rawData, 'numeric'))) % 分类变量唯一值检查 catVars = rawData(:, isvartype(rawData, 'categorical')); for var = 1:width(catVars) disp(['变量「', catVars.Properties.VariableNames{var},... '」包含 ', num2str(numel(unique(catVars{:,var}))),... ' 个唯一值']); end可视化工具能更直观地发现问题：
% 缺失值热力图 heatmap(double(missingPattern), 'ColorMap', hot); title('缺失值分布热力图'); % 数值变量箱线图 boxplot(rawData{:, isvartype(rawData, 'numeric')}); title('数值变量分布检查');3. 缺失值处理：超越简单的删除
面对缺失数据，新手常犯的错误是直接删除包含缺失值的行。实际上，MATLAB提供了更专业的处理方案：
方案对比表：
| 方法 | 适用场景 | MATLAB实现 | 优缺点 |
|---|---|---|---|
| 删除法 | 缺失极少(<5%) | rmmissing(data) | 简单但损失信息 |
| 均值填充 | 数值变量 | fillmissing(data,'constant',meanVal) | 保持数据量但扭曲分布 |
| 插值法 | 时间序列 | fillmissing(data,'linear') | 保留趋势但可能过度平滑 |
| 模型预测 | 复杂关系 | fitlm+predict | 最精确但计算成本高 |
高级技巧：为缺失值创建指示变量
% 创建缺失标志变量 for var = rawData.Properties.VariableNames if any(ismissing(rawData.(var{1}))) rawData.(['missing_', var{1}]) = ismissing(rawData.(var{1})); end end % 多重插补示例（需要Statistics Toolbox） imputedData = fillmissing(rawData, 'movmedian', 5,... 'SamplePoints', rawData.Date);4. 异常值检测与处理：统计方法与业务规则的结合
异常值(outliers)不一定是错误数据，但会严重影响分析结果。MATLAB提供了从简单统计到机器学习的多层次检测方法：
Z-score方法：
zScores = normalize(rawData.SalesAmount); outlierIdx = abs(zScores) > 3; % 3σ原则MAD(中位数绝对偏差)鲁棒方法：
med = median(rawData.Profit); mad = median(abs(rawData.Profit - med)); modifiedZ = 0.6745 * (rawData.Profit - med) / mad;业务规则过滤：
% 假设单价应在10-1000元之间 validPrice = rawData.UnitPrice >= 10 & rawData.UnitPrice <= 1000; rawData = rawData(validPrice, :);处理异常值的黄金法则是：除非确认是错误数据，否则不要简单删除，而是考虑：
- 转换为缺失值后用上一节方法处理
- 使用Winsorize缩尾处理
- 创建单独的分析分组
5. 文本数据清洗：正则表达式的威力
文本字段往往是数据质量的"重灾区"。MATLAB的字符串数组和正则表达式能高效处理各种混乱情况：
% 标准化产品名称（去除多余空格、统一大小写） rawData.ProductName = lower(strtrim(rawData.ProductName)); % 提取规格参数（示例：从"iPhone 13 128GB"提取容量） rawData.CapacityGB = double(... regexp(rawData.ProductName, '(\d+)GB', 'tokens', 'once')); % 地址标准化（示例：统一"北京市"和"北京"） rawData.City = regexprep(rawData.City,... '^(北京市|北京)$', '北京市');常用文本清洗模式：
\s+匹配任意空白字符[0-9]匹配数字[A-Za-z]匹配字母^...$整行匹配
6. 日期时间数据处理：时区与格式的陷阱
日期时间数据看似简单，实则暗藏诸多陷阱。MATLAB的datetime类型提供了完善的解决方案：
% 自动识别多种日期格式 rawData.OrderDate = datetime(rawData.OrderDateStr,... 'InputFormat', 'yyyy-MM-dd HH:mm',... 'TimeZone', 'Asia/Shanghai'); % 处理不完整日期 rawData.DeliveryDate = datetime(rawData.DeliveryDateStr,... 'InputFormat', 'MM/dd/yyyy',... 'Format', 'preserveinput'); % 提取时间特征 rawData.OrderHour = hour(rawData.OrderDate); rawData.IsWeekend = isweekend(rawData.OrderDate);重要提示：始终明确时区设置，特别是处理跨时区业务数据时。默认情况下MATLAB使用系统时区。
7. 数据标准化与类型转换
在最终分析前，通常需要对数据进行标准化处理。MATLAB提供了多种预处理函数：
数值标准化：
% Z-score标准化 rawData.SalesAmount = normalize(rawData.SalesAmount); % Min-Max归一化 rawData.Profit = (rawData.Profit - min(rawData.Profit)) /... (max(rawData.Profit) - min(rawData.Profit));分类变量编码：
% 转换为分类类型 rawData.Region = categorical(rawData.Region); % 创建虚拟变量(dummy variables) regionDummy = dummyvar(grp2idx(rawData.Region));高基数分类变量处理：
% 基于频率的合并（将低频类别合并为"其他"） [counts, categories] = histcounts(rawData.ProductCategory); lowFreqCats = categories(counts < 10); rawData.ProductCategory(ismember(rawData.ProductCategory,... lowFreqCats)) = "Other";8. 完整工作流示例：销售数据分析案例
将上述技术整合到一个真实场景中：
%% 1. 数据导入 salesData = readtable('Q3_sales.xlsx',... 'TextType', 'string',... 'MissingRule', 'fill'); %% 2. 初步清洗 % 处理缺失值 salesData.CustomerID = fillmissing(salesData.CustomerID, 'constant', "UNKNOWN"); salesData.UnitPrice = fillmissing(salesData.UnitPrice, 'movmean', 5); % 去除重复记录 salesData = unique(salesData); %% 3. 特征工程 % 日期处理 salesData.OrderDate = datetime(salesData.OrderTimestamp,... 'InputFormat', 'yyyy-MM-dd''T''HH:mm:ssXXX'); % 创建派生特征 salesData.OrderDayOfWeek = day(salesData.OrderDate, 'name'); salesData.OrderHour = hour(salesData.OrderDate); % 文本标准化 salesData.ProductCategory = lower(strtrim(salesData.ProductCategory)); salesData.ProductCategory = categorical(salesData.ProductCategory); %% 4. 保存清洗结果 writetable(salesData, 'cleaned_sales_data.csv');这个工作流展示了从原始数据到分析就绪数据集的完整转换过程。在实际项目中，可能需要根据具体数据特点调整某些步骤。