【kv存储】持久化模块优化----内存映射取代拷贝式加载

一、项目背景

基于EPOLL的轻量级高性能kv存储项目，可对接博客存储、用户信息缓存、短连接系统后台应用。支持内存池，持久化和主从同步，特殊字符和大value兼容。可redis resp指令操作。redis-benchmark实测，裸奔时单机QPS达19w+

1.1 瓶颈分析

当前kvstore项目全量持久化加载模块kvs_hash_load_rdb采用的是fopen后将.rdb文件中的键值对使用fread读取，然后拷贝一份（malloc分配内存）将这份拷贝写入hash中，从而实现加载。

// 循环读取每条记录 - 这里有性能瓶颈while(1){// 瓶颈1: 同步阻塞I/O - 每次fread都会等待磁盘fread(&klen,...);// 阻塞fread(key,...);// 阻塞fread(&vlen,...);// 阻塞fread(val,...);// 阻塞// 瓶颈2: 频繁内存分配和拷贝void*key=malloc(klen);// 系统调用void*val=malloc(vlen);// 系统调用kvs_hash_set(...);// 内部再次malloc拷贝free(key);// 系统调用free(val);// 系统调用}

性能瓶颈分析：fread同步磁盘读取所导致的阻塞，频繁malloc的系统调用开销

优化办法：用mmap内存映射，直接在映射的内存块中解析键值对

二、内存映射优化

2.1 mmap介绍

#include<sys/mman.h>void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

• mmap核心概念

  • 文件映射到进程地址空间

  • 按需加载（缺页中断）

  • 零拷贝（直接使用映射内存）

2.2 优化后的加载函数

intkvs_hash_load_rdb(kvs_hash_t*hash,constchar*filename){// 1. 参数检查if(!hash||!filename)return-1;// 2. 打开文件intfd=open(filename,O_RDONLY);if(fd<0){printf("[RDB] Failed to open file: %s\n",filename);return-1;}// 3. fstat获取文件大小structstatst;if(fstat(fd,&st)!=0){close(fd);return-1;}size_tsize=st.st_size;if(size==0){close(fd);return0;}// 4. mmap映射文件void*data=mmap(NULL,size,PROT_READ,MAP_PRIVATE,fd,0);close(fd);if(data==MAP_FAILED){return-1;}// ===== mmap映射内存中的键值对解析逻辑 =====char*p=data;// 指向映射内存起始位置char*end=data+size;// 映射内存结束边界intloaded=0;while(p<end){// 5.1 读取key长度（定长）size_tklen=*(size_t*)p;p+=sizeof(size_t);// 5.2 key数据指针（直接指向映射内存）void*key=p;p+=klen;// 5.3 读取value长度（定长）size_tvlen=*(size_t*)p;p+=sizeof(size_t);// 5.4 value数据指针（直接指向映射内存）void*val=p;p+=vlen;// 5.5 插入哈希表（使用直接指针，零拷贝）kvs_hash_set_direct(hash,key,klen,val,vlen);loaded++;}// ======================================// 6. 返回加载数量printf("[RDB] Loaded %d keys\n",loaded);returnloaded;}

总结

mmap的使用

• mmap参数详解

  • addr：映射起始地址（通常NULL）

  • length：映射长度（fstat获取文件大小）

  • prot：保护标志（PROT_READ/PROT_WRITE）

  • flags：映射标志（MAP_PRIVATE/MAP_SHARED）

  • fd：文件描述符

  • offset：文件偏移量（通常0）

• 辅助函数

  • open()：打开文件

  • fstat()：获取文件大小

  • close()：关闭文件描述符

  • munmap()：解除映射