当前位置：首页 > news >正文

微调前数据清洗：用 Node.js 做 JSONL 格式自检

news 2026/6/26 2:05:57

微调前数据清洗：用 Node.js 做 JSONL 格式自检

微调大模型需要符合特定格式的数据集，通常是 Chat JSONL。如果上传的数据里有非法 JSON、缺少 Role 字段或单条 Token 超出限制，训练任务会中途崩溃，或者训练出的模型逻辑混乱。在上传前做数据清洗，能避免这些问题。

一、数据源复杂，脏数据多

微调数据来自客服记录、数据库导出或大模型生成的合成数据。这些数据里常有脏数据：标点符号没转义导致 JSON 解析失败，或者对话太长超出上下文限制。如果上传后训练几小时才发现错误，几百美元的算力就浪费了。问题在于怎么用简单代码在本地做流式审查，快速过滤不合格数据并估算训练成本。

二、本地流水线加自检步骤

在数据上传云端前，本地流水线加一个自检步骤。

graph TD A[待微调的原始语料数据 JSONL 输入] --> B[流式读取文件句柄 / Line-by-Line Stream Reader] B --> C{是否为合法的 JSON 格式字符串?} C -- 否 --> D[过滤并记录: 写入 JSONL 解析失败错误日志] C -- 是 --> E{是否包含标准的 messages 数组及 system/user/assistant 结构?} E -- 否 --> D E -- 是 --> F[估算本行所有 content 的 Token 总和 token_sum] F --> G{token_sum 是否在安全上下文阈值 4096 内?} G -- 否 --> H[过滤并记录: 写入超长 Token 过滤库, 暂不提交微调] G -- 是 --> I[通过全部检查: 写入干净的发布语料输出流 clean.jsonl] I --> J[汇总计算整体数据集的 Token 总量与预估微调消费金额]

这个流程能在本地过滤掉大部分有问题的数据行，上传的数据基本没问题。

三、Node.js 实现

下面用 Node.js 原生 API 实现一个 JSONL 数据清洗器。脚本不依赖第三方包，只用内置的readline和fs接口，能处理数 GB 的文件，内存占用低，逐行做自检和清洗。

// fine_tune_cleaner.js - 原生流式 JSONL 数据自检清洗网关 const fs = require('fs'); const readline = require('readline'); const path = require('path'); const INPUT_PATH = path.join(__dirname, 'raw_dataset.jsonl'); const OUTPUT_PATH = path.join(__dirname, 'clean_dataset.jsonl'); const MAX_TOKENS = 4096; // 限制单条微调数据的 Token 上限 function logging(msg) { console.log(`[Cleaner Hub] ${msg}`); } // 极简字符 Token 预估算法（中文字符/英文单词平均以系数折算，避免网络调用） def estimateTokenCount(text) { if (!text) return 0; const chineseChars = text.match(/[\u4e00-\u9fa5]/g) || []; const englishWords = text.replace(/[\u4e00-\u9fa5]/g, ' ').split(/\s+/).filter(Boolean); // 学术界常用的轻量预估公式：中文1字≈0.8 tokens，英文1词≈1.3 tokens return Math.ceil(chineseChars.length * 0.8 + englishWords.length * 1.3); } // 核心流式校验处理引擎 function cleanFineTuneDataset() { logging('Initiating stream validation for fine-tuning corpus...'); if (!fs.existsSync(INPUT_PATH)) { // 自动写入测试用的模拟 raw_dataset.jsonl 文件 const mockData = [ '{"messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hi"}]}', // 合规 '{"messages":[{"role":"system","content":"Missing assistant reply"}]}', // 不合规: 缺少 assistant 'INVALID_JSON_LINE_HERE', // 不合规: 无法解析的 JSON 串 '{"messages":[{"role":"user","content":"Too long content..."}]}' // 模拟超长数据 ]; fs.writeFileSync(INPUT_PATH, mockData.join('\n')); } const instream = fs.createReadStream(INPUT_PATH); const outstream = fs.createWriteStream(OUTPUT_PATH); const rl = readline.createInterface({ input: instream, terminal: false }); let lineCount = 0; let passedCount = 0; let filteredCount = 0; let totalEstimatedTokens = 0; rl.on('line', (line) => { lineCount++; if (!line.trim()) return; try { // 1. 检验 JSON 合法性 const data = JSON.parse(line); // 2. 检验 Chat 消息骨架结构 if (!data.messages || !Array.isArray(data.messages)) { filteredCount++; return; } // 验证是否同时包含核心角色 const roles = data.messages.map(m => m.role); const hasSystem = roles.includes('system'); const hasUser = roles.includes('user'); if (!hasSystem || !hasUser) { filteredCount++; return; // 缺少核心角色，直接过滤 } // 3. 计算本行 Token 长度 let tokenSum = 0; data.messages.forEach(msg => { tokenSum += estimateTokenCount(msg.content); }); // 4. 判断 Token 长度阈值 if (tokenSum > MAX_TOKENS) { filteredCount++; logging(`Line #${lineCount} filtered: Token count ${tokenSum} exceeds limit ${MAX_TOKENS}.`); return; } // 5. 校验通过，写入输出流 outstream.write(line + '\n'); passedCount++; totalEstimatedTokens += tokenSum; } catch (e) { filteredCount++; logging(`Line #${lineCount} failed to parse JSON structure. Raw content: "${line.substring(0, 30)}..."`); } }); rl.on('close', () => { outstream.end(); logging(`Validation completed.`); logging(`Total scanned: ${lineCount} | Cleaned & Output: ${passedCount} | Filtered: ${filteredCount}`); logging(`Total estimated dataset tokens: ${totalEstimatedTokens}`); // 清理模拟文件 if (fs.existsSync(INPUT_PATH)) fs.unlinkSync(INPUT_PATH); if (fs.existsSync(OUTPUT_PATH)) fs.unlinkSync(OUTPUT_PATH); }); } // 运行自检 if (require.main === module) { cleanFineTuneDataset(); }

四、精度和成本的权衡

大规模预处理和过滤微调数据时，需要在精度和成本之间取舍：

Token 预估精度：调用本地分词器或云端 API 最准确，但扫描大文件会很慢。用字符/英文单词比例估算法（±15% 偏差）做前置粗筛，配合 20% 安全余量，效率最高。
数据分布完整性：如果因为长度超限过滤掉太多长文本，模型可能失去阅读长文的能力。被过滤的超长数据可以用"滑动窗口分拆"或"智能摘要压缩"处理，不要直接废弃。
敏感信息脱敏：微调语料不能混入真实用户的银行卡、密码等数据，否则模型可能被 Prompt 诱导泄露。清洗器里配置敏感字脱敏正则，这是安全底线。