当前位置：首页 > news >正文

java中使用mmap技术简介

news 2026/5/11 22:06:36

前言

jdk21 之后，随着 FFM 加入并稳定，现在 java 中也可以直接使用 mmap 技术将文件直接映射进内存并读取了，并且没有 nio 中 21 亿的限制（Integer.MAX_VALUE）。

BIO时代

try (FileInputStream fis = new FileInputStream("file.txt")) { byte[] buffer = new byte[8192]; // 8KB 缓冲区 int bytesRead; while ((bytesRead = fis.read(buffer)) != -1) { // 处理 buffer 中的前 bytesRead 字节 } }

最早读取文件就是阻塞读取，由于 byte[] 是jdk管理，自己传入的，所以下标最大就是21亿，而且由于正常情况下由代码传入，所以不可能 new byte[Integer.MAX_VALUE]，而且 byte[] 回收需要看 gc。

NIO时代（JDK 1.4+）

try (FileChannel channel = FileChannel.open(Paths.get("data.txt"), StandardOpenOption.READ)) { MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, size); }

后来 java 推出了 NIO，但是作者本人实际工作接触的需要如此优化的场景太少，且 api 并不直观，导致完全没有用过几次。返回的 MappedByteBuffer api 中下标参数使用的是 int，这直接导致超过 4G 的文件必须分段映射，且 MappedByteBuffer 映射的内存也需要 gc 回收。

属于初代 mmap 技术，虽然原理上是 mmap，但是限制颇多。

AIO时代（JDK 7+）

本质上是 NIO.2，或者叫 new NIO，原则上属于NIO的一部分

AsynchronousFileChannel

这个 api 更是查无此人，作者并不知道这个应该怎么用/有什么性能。

FFM（JDK 22+）

try (var arena = Arena.ofConfined(); var channel = FileChannel.open(path, StandardOpenOption.READ)) { var size = channel.size(); var memorySegment = channel.map(FileChannel.MapMode.READ_ONLY, 0, size, arena ); } catch (IOException e) { throw new RuntimeException(e); }

随着 FFM 稳定，原本的 FileChannel api 中也加入了对 FFM 的支持，使用 Arena 配置接下来申请的内存的生命周期管理，再将 arena 传入 channel，返回 MemorySegment，使用 MemorySegment 即可对全文件进行随机读写。arena 关闭后申请的所有内存直接回收，没有 gc 压力。

由于调用的是底层的 mmap 返回的内存段，所以直接读写 memorySegment 即可直接反应到文件上，也可以调用 MemorySegment#force() 强制写入。

更加接近底层的 mmap 技术，可选择是否有 gc 压力。

读取示例：

public class MemorySegmentFileTest { private static final Path path = Path.of("/home/bin-/Downloads/home/extraData.img"); static void main() { try (var arena = Arena.ofConfined(); var channel = FileChannel.open(path, StandardOpenOption.READ)) { var size = channel.size(); var memorySegment = channel.map(FileChannel.MapMode.READ_ONLY, 0, size, arena ); System.out.println("成功映射文件，大小：" + printSize(size)); System.out.println("内存段地址：" + memorySegment.address()); System.out.println("内存段大小：" + printSize(memorySegment.byteSize())); System.out.println("内存段内容前16字节："); for (long i = 0; i < 16; i++) { byte b = memorySegment.get(ValueLayout.JAVA_BYTE, i); System.out.printf("0x%02X ", b); } System.out.println(); System.out.println("内存段内容后16字节："); for (long i = size - 16; i < size; i++) { byte b = memorySegment.get(ValueLayout.JAVA_BYTE, i); System.out.printf("0x%02X ", b); } System.out.println(); } catch (IOException e) { throw new RuntimeException(e); } } private static String printSize(long size) { String[] units = {"B", "KiB", "MiB", "GiB", "TiB", "PiB", "EiB"}; long s = size; var list = new ArrayList<String>(); var builder = new StringBuilder(); var formatter = new Formatter(builder); for (var unit : units) { int sub = (int) (s & ((1 << 10) - 1)); formatter.format("%s %s", sub, unit); list.add(builder.toString()); builder.setLength(0); if (s < 1024) { break; } s >>= 10; } return String.join(" ", list.reversed()); } }