- HBase 读路径深度调优：亚秒级大表 scan
场景
日志表 api_log 每天 4 千亿条，单条 0.8 kB，需按 traceId 前缀扫描 5 万行，目标 < 500 ms。
RowKey 再设计
旧：traceId 直接做 rowkey → 热点。
新：
salt(2 位十六进制) + timestamp(秒) + traceId(32)
= 42 + 1696800000 + a3f... 总 50 字节
预分区 256 个，均分到 16 台 RS。
Filter 组合
PrefixFilter 只扫 1/256 分片。
FirstKeyOnlyFilter + ColumnPaginationFilter(1, 0) 取每行第一列，减少网络包。
TimeRange 精确到 5 分钟区间，BloomFilter 剪枝 92 % HFile。
客户端参数
java
scan.setCaching(5000); // 一次 RPC 拉 5000 行
scan.setBatch(100); // 每行最多 100 列，防宽表爆炸
scan.setAllowPartialResults(true);
htable.setScannerTimeout(60000);
连接池：
java
conf.set("hbase.client.ipc.pool.type","RoundRobin");
conf.set("hbase.client.ipc.pool.size","10");
服务端调优
hbase.regionserver.handler.count=200
hfile.block.cache.size=0.4 // 40 % 堆给 BlockCache
hbase.bucketcache.ioengine=offheap
hbase.bucketcache.size=10g // 共 16 G 堆外
重启后观察：
单 RS 5 万行 scan 耗时从 1.8 s → 380 ms，P99 420 ms，CPU 降 15 %。
2. VM 嵌套 KVM 的 virtio-vDPA 测试
目标
让层二 KVM 虚拟机直接使用宿主机 Intel E810 100 GbE 的 vDPA 能力，绕过 VMware 虚拟交换机，减少 20 % PPS 损耗。
环境
物理机 ←→ VMware ESXi 8 ←→ Ubuntu 22.04 (层一) ←→ QEMU 7.2 (层二)
步骤
宿主机 BIOS 打开 SR-IOV，每张 E810 切 16 VFs。
ESXi 把 VF 直通给层一 Ubuntu：
esxcli hardware pci passthrough -d 0000:af:00.2 -e
层一内核 6.2 已带 vdpa tool：
modprobe vdpa
vdpa dev add name net0 bus pci device 0000:0b:00.2
QEMU 启动层二 VM 加参数：
-object vdpa-net-pci,id=vdpa0,vhost=on,netdev=net0
层二 VM 内 ip link 看到 ens5 100 GbE，驱动 virtio_net。
性能
testpmd 64 byte 小包：
模式 tx_pps rx_pps 延迟
VMware vSwitch 9.2 M 9.1 M 42 μs
virtio-vDPA 18.7 M 18.5 M 19 μs
基本达到物理 VF 的 95 % 能力，层二 CPU 节省 1.2 核。
坑
层一必须开启 IOMMU 隔离，否则 QEMU 报 VFIO_GROUP_NOT viable；ESXi 需关掉 Relaxed 亲和性，防止 VF 迁移时 MSI-X 中断丢失。
3. 杂项
HBase RPC 拒绝连接
日志 ServerRpcController: Call queue is full
调大 hbase.regionserver.global.reader.limit=1000 并加 hbase.ipc.server.max.callqueue.size=5G 后消失。
VMware 层一快照卡死
原因：KVM 层二 VM 的 virtio-balloon 正在回收内存，快照时 Guest OS 挂起超时。
解决：在层二禁用 balloon，.vmx 加 tools.guestlib.enable = false，快照 30 s 完成。