使用 Stream 流处理大文件可将内存占用从一次性加载整个文件降低为分块读取，对于超过 100MB 的文件，Stream 方式能保持内存稳定而传统 readFile 方式会导致内存溢出 (OOM)。
原因分析
在 Node.js 中直接使用 fs.readFile() 读取大文件时，整个文件会一次性被加载到内存中，当处理 3GB 大小的电影文件或大型日志文件时，内存会瞬间飙升导致 OOM 错误。根据 Node.js 性能优化指南，传统的回调/Promise 方式内存占用高，仅适用小文件 (<100MB)，而 Stream 通过分块处理数据，每次读取一个 chunk，显著降低内存占用。
Stream 的核心优势在于：无需加载整个文件到内存、数据一到达就开始处理减少等待时间、支持多个 Stream 串联构建复杂数据处理流程。从 Node.js 10 开始，fs 模块提供了原生的 Promise 版本，但处理大文件时仍推荐使用 Stream。
解决方案
使用 pipe() 方法实现高效文件复制
最基础且高效的 Stream 操作是使用 pipe() 方法，它自动处理背压 (backpressure)，无需手动管理数据流速。代码示例：
const fs = require('fs');
const readStream = fs.createReadStream('large-file.txt');
const writeStream = fs.createWriteStream('copy-large-file.txt');
readStream.pipe(writeStream);
writeStream.on('finish', () => {console.log('文件复制完成');
});这种方式内存占用极小，适合传输日志、视频、备份等大文件。
设置 highWaterMark 参数控制缓冲区大小
通过 highWaterMark 参数可以控制每次读取的数据块大小，默认情况下 Node.js 会设置合适的值，但可根据实际需求调整。示例代码：
const readStream = fs.createReadStream('largefile.txt', {highWaterMark: 64 * 1024 // 每次读取 64KB
});
readStream.on('data', (chunk) => {console.log(`Received ${chunk.length} bytes of data.`);
});插入 Transform 流进行实时压缩
可以在流处理过程中插入 Transform 流对数据进行转换，如使用 zlib 进行实时压缩：
const fs = require('fs');
const zlib = require('zlib');
const readStream = fs.createReadStream('large-file.txt');
const writeStream = fs.createWriteStream('large-file.txt.gz');
const gzip = zlib.createGzip();
readStream.pipe(gzip).pipe(writeStream);这样可以在不增加内存负担的情况下完成文件压缩。
注意事项
1. 必须监听 error 事件处理读写异常，否则程序可能在流处理失败时静默崩溃。示例：
readStream.on('error', err => {console.error('读取错误:', err);
});
writeStream.on('error', err => {console.error('写入错误:', err);
});2. 使用 ab 压测工具验证性能时，命令格式为：ab -c200 -n1600 http://127.0.0.1:3000/index，表示每秒 200 个请求，总请求数 1600 次。注意 Mac 系统自带的 ab 有并发限制。
3. 对于视频流、实时日志处理等场景，文件流可以边读取边传输，不需要等待整个文件加载完成，这对于 HTTP 服务器返回大文件尤为重要。
4. 在 close 后需清理资源，确保稳定性和可靠性，避免文件句柄泄漏。
参考来源
来源：CSDN 博客 - Node.js 流 (Stream) 处理高级技巧：learn-javascript 性能优化实践
来源：知乎技术专栏 - 深入解析 Node.js Stream:高效处理大文件与数据流实战
来源：Node.js 性能优化指南 - I/O 操作优化与流处理最佳实践
来源：GitHub 技术文档 - NodeJs 使用文件流解决大文件处理的内存与时间效率问题
原文链接：https://www.zjcp.cc/ask/9659.html