当前位置：首页 > news >正文

向量数据库冷热分层：高频访问索引放内存、低频数据落盘的策略选择

news 2026/7/10 14:47:50

向量数据库冷热分层：高频访问索引放内存、低频数据落盘的策略选择

一、深度引言与场景痛点

向量数据库的性能和成本永远在拔河。把全部向量索引放在内存里，查询飞快但贵得离谱——当你的索引量达到亿级，光是 768 维的 float32 向量就要占约 300GB 内存，按云服务器 1GB 内存月成本算，光内存月费轻松破万。但把全部数据放磁盘上——虽然省钱，每次查询都走磁盘 I/O，延迟从 10ms 飙升到 500ms，用户的耐心在 300ms 就耗尽了。

现实场景中的数据访问分布符合帕累托法则：20% 的高频文档承载了 80% 的查询流量，另外 80% 的文档可能一周都没人问一次。自然的策略就是冷热分层——把热门索引放在内存里，冷门数据放在磁盘上，查询时按需加载。这思想跟 MySQL 的 Buffer Pool、Redis 的淘汰策略如出一辙，但在向量数据库中有一些独特的难点。

核心挑战在于：向量检索本身就依赖全量索引做近似最近邻搜索（ANN），如果只检索内存中的"热"部分，那些"冷"数据中真正相关的片段就会被漏掉。冷热分层的正确姿势不是简单地做数据分流，而是要设计一种查询策略，在热数据命中率足够高时由热层快速返回，在需要完整检索时能优雅地退回到全量搜索。

二、底层机制与原理深度剖析

冷热分层策略基于以下核心数据：

热层（Memory Tier）：存放高频访问的向量及其索引。使用 HNSW 或 IVF 索引结构，查询延迟在 10ms 以内。规模控制在可接受的内存成本范围内。

温层（SSD Tier）：存放中频访问数据。使用 DiskANN 或 LM-DiskANN 等支持磁盘 I/O 的 ANN 算法，查询延迟在 50-100ms。

冷层（Object Storage Tier）：存放低频历史数据。使用暴力检索或压缩索引，查询延迟在 500ms+，但存储成本几乎为零。

访问频率追踪：每个文档（或向量 chunk）记录访问次数和时间窗口内的频率。频率超过阈值的自动晋升到热层，长时间未访问的自动降级到冷层。

flowchart TB subgraph "查询路由层" Q["用户查询"] --> R{"热层是否\n满足置信度？"} R -->|"是"| HMEM["热层内存检索\n延迟: 5-20ms"] R -->|"否"| FULL["全量检索\n热层 + 温层 + 冷层"] end subgraph "存储分层" HMEM -->|"高频数据"| HT["Hot Tier\n内存 HNSW 索引"] FULL --> HT FULL -->|"中频数据"| WT["Warm Tier\nSSD DiskANN 索引"] FULL -->|"低频数据"| CT["Cold Tier\nCOS 压缩索引"] HT -->|"结果合并 & 排序"| MERGE["结果聚合器"] WT --> MERGE CT --> MERGE end subgraph "迁移调度" AF["访问频率追踪器"] -->|"频率 > 阈值"| PROMOTE["晋升到热层"] AF -->|"频率 < 阈值 && 时间窗口 > N天"| DEMOTE["降级到冷层"] HT -.->|"迁移数据"| WT WT -.->|"迁移数据"| CT end MERGE --> RESULT["最终结果返回"] style Q fill:#4A90D9,color:#fff style HMEM fill:#5CB85C,color:#fff style FULL fill:#E8A838,color:#fff style MERGE fill:#D9534F,color:#fff

三、生产级代码实现

以下实现了一个冷热分层管理方案，包括频率追踪、自动迁移和多层检索的编排逻辑。

import time import heapq import logging from dataclasses import dataclass, field from enum import Enum from collections import defaultdict from typing import Any import numpy as np logger = logging.getLogger(__name__) class Tier(Enum): HOT = "hot" # 内存 HNSW WARM = "warm" # SSD DiskANN COLD = "cold" # COS 压缩索引 @dataclass class ChunkMeta: """向量块元信息，包含访问统计和层级归属。""" chunk_id: str vector_dim: int tier: Tier = Tier.HOT access_count: int = 0 last_access: float = 0.0 created_at: float = field(default_factory=time.time) vector_hash: str = "" # 用于冷却后的去重检测 class AccessTracker: """访问频率追踪器，基于滑动窗口统计。""" def __init__(self, window_seconds: int = 86400, hot_threshold: int = 100): self.window = window_seconds self.hot_threshold = hot_threshold self._access_times: dict[str, list[float]] = defaultdict(list) self._total_accesses: dict[str, int] = defaultdict(int) def record(self, chunk_id: str): """记录一次访问。""" now = time.time() self._access_times[chunk_id].append(now) self._total_accesses[chunk_id] += 1 # 清理过期记录 cutoff = now - self.window self._access_times[chunk_id] = [ t for t in self._access_times[chunk_id] if t > cutoff ] def get_window_count(self, chunk_id: str) -> int: """获取滑动窗口内的访问次数。""" self.record(chunk_id) # 顺便做清理 return len(self._access_times.get(chunk_id, [])) def is_hot(self, chunk_id: str) -> bool: """判断是否为高频数据。""" return self.get_window_count(chunk_id) >= self.hot_threshold def get_cold_candidates(self, days: int = 7) -> list[str]: """获取超过 N 天未访问的候选降级块。""" now = time.time() cutoff = now - (days * 86400) candidates = [] for chunk_id, times in self._access_times.items(): last_time = max(times) if times else 0 if last_time < cutoff: candidates.append(chunk_id) return candidates class TieredVectorStore: """冷热分层的向量存储。 注意：这是对冷热分层策略的逻辑演示，实际存储层需要对接具体的向量数据库。 """ def __init__(self, dimension: int = 768): self.dimension = dimension self.tracker = AccessTracker(window_seconds=86400, hot_threshold=50) # 各层的逻辑存储（生产环境替换为实际向量数据库客户端） self._hot_store: dict[str, np.ndarray] = {} self._warm_store: dict[str, np.ndarray] = {} self._cold_store: dict[str, np.ndarray] = {} # 层级归属 self._tier_map: dict[str, Tier] = {} def insert(self, chunk_id: str, vector: np.ndarray, initial_tier: Tier = Tier.HOT): """插入向量并指定初始层级。""" if len(vector) != self.dimension: raise ValueError(f"向量维度不匹配：期望 {self.dimension}，实际 {len(vector)}") self._tier_map[chunk_id] = initial_tier store = self._get_store(initial_tier) store[chunk_id] = vector.copy() logger.info("向量 [%s] 插入到 %s 层", chunk_id, initial_tier.value) def _get_store(self, tier: Tier) -> dict[str, np.ndarray]: stores = { Tier.HOT: self._hot_store, Tier.WARM: self._warm_store, Tier.COLD: self._cold_store, } return stores[tier] def search( self, query_vector: np.ndarray, top_k: int = 10, use_hot_only: bool = False, ) -> list[tuple[str, float]]: """分层检索。 Args: query_vector: 查询向量 top_k: 返回数量 use_hot_only: 是否仅检索热层（快速模式） """ if len(query_vector) != self.dimension: raise ValueError(f"查询向量维度不匹配：期望 {self.dimension}") if use_hot_only: results = self._search_tier(query_vector, Tier.HOT, top_k) else: # 全量检索：按热度权重融合各层结果 hot_results = self._search_tier(query_vector, Tier.HOT, top_k * 2) warm_results = self._search_tier(query_vector, Tier.WARM, top_k) cold_results = self._search_tier(query_vector, Tier.COLD, top_k) # 合并结果，热层结果有加权优势（相似度 * 1.05） merged = {} for chunk_id, score in hot_results: merged[chunk_id] = max(merged.get(chunk_id, 0), score * 1.05) for chunk_id, score in warm_results + cold_results: merged[chunk_id] = max(merged.get(chunk_id, 0), score) results = sorted(merged.items(), key=lambda x: x[1], reverse=True)[:top_k] # 记录访问 for chunk_id, _ in results: self.tracker.record(chunk_id) return results def _search_tier( self, query_vector: np.ndarray, tier: Tier, top_k: int, ) -> list[tuple[str, float]]: """在指定层中做向量检索（简化版余弦相似度）。""" store = self._get_store(tier) if not store: return [] results = [] for chunk_id, vector in store.items(): # 余弦相似度 similarity = float( np.dot(query_vector, vector) / (np.linalg.norm(query_vector) * np.linalg.norm(vector) + 1e-8) ) results.append((chunk_id, similarity)) return heapq.nlargest(top_k, results, key=lambda x: x[1]) def promote(self, chunk_id: str) -> bool: """将向量晋升到热层。""" current_tier = self._tier_map.get(chunk_id) if current_tier is None: logger.warning("向量 [%s] 不存在", chunk_id) return False if current_tier == Tier.HOT: return True # 从当前层迁移到热层 vector = self._get_store(current_tier).pop(chunk_id, None) if vector is not None: self._hot_store[chunk_id] = vector self._tier_map[chunk_id] = Tier.HOT logger.info("向量 [%s] 晋升: %s -> hot", chunk_id, current_tier.value) return True return False def demote(self, chunk_id: str) -> bool: """将向量降级（按顺序：hot → warm → cold）。""" current_tier = self._tier_map.get(chunk_id) if current_tier is None: return False demotion_chain = {Tier.HOT: Tier.WARM, Tier.WARM: Tier.COLD} next_tier = demotion_chain.get(current_tier) if next_tier is None: logger.info("向量 [%s] 已在最冷层，不再降级", chunk_id) return False vector = self._get_store(current_tier).pop(chunk_id, None) if vector is not None: self._get_store(next_tier)[chunk_id] = vector self._tier_map[chunk_id] = next_tier logger.info("向量 [%s] 降级: %s -> %s", chunk_id, current_tier.value, next_tier.value) return True return False def run_migration(self): """执行一轮自动迁移：晋升热点数据，降级冷数据。""" # 晋升 for chunk_id in list(self._tier_map.keys()): if self.tracker.is_hot(chunk_id): self.promote(chunk_id) # 降级 cold_candidates = self.tracker.get_cold_candidates(days=7) for chunk_id in cold_candidates: self.demote(chunk_id) # 输出统计 stats = self.get_stats() logger.info( "迁移完成: 热层=%d, 温层=%d, 冷层=%d, 总计=%d", stats["hot"], stats["warm"], stats["cold"], stats["total"], ) def get_stats(self) -> dict[str, int]: return { "hot": len(self._hot_store), "warm": len(self._warm_store), "cold": len(self._cold_store), "total": sum(len(s) for s in [self._hot_store, self._warm_store, self._cold_store]), } def should_use_hot_only(self, query_hotness: str = "warm") -> bool: """根据查询热度决定是否仅检索热层。 热点查询只需热层即可满足，降低延迟和成本。 """ return query_hotness == "hot" and len(self._hot_store) > 0 def demo(): store = TieredVectorStore(dimension=4) # 插入测试数据 rng = np.random.default_rng(42) for i in range(100): store.insert( f"chunk_{i}", rng.random(4).astype(np.float32), initial_tier=Tier.HOT if i < 20 else Tier.WARM if i < 60 else Tier.COLD, ) # 模拟热点访问 for _ in range(60): store.tracker.record("chunk_5") store.tracker.record("chunk_10") # 执行迁移 store.run_migration() # 检索测试 query = rng.random(4).astype(np.float32) results = store.search(query, top_k=5, use_hot_only=False) for chunk_id, score in results: print(f" {chunk_id}: {score:.4f} (层级: {store._tier_map.get(chunk_id)})") if __name__ == "__main__": demo()