当前位置：首页 > news >正文

python-langchain框架（1-8-2 缓存机制——验证缓存的效果）

news 2026/6/1 7:24:42

当用户提出一个常见问题时，首次调用大模型需要经历网络传输、排队等待、模型推理等完整链路，响应时间通常在1至3秒。这个时长已超过人类对“流畅交互”的心理阈值（200毫秒），用户会明显感知到“卡顿”和“等待焦虑”。而启用缓存后，相同问题的后续请求直接从本地数据库读取结果，响应时间骤降至10毫秒以内——这种“无感秒回”的体验，让用户感觉系统始终在线、反应迅捷，极大提升了产品专业度和信任感。

下面看看这段代码，就能清晰的体现使用缓存后能提升的用户体验。（同一个问题问大模型三次，第一次没有缓存，后两次有缓存）

importos

importtime

fromlangchain_community.cacheimportSQLiteCache

fromlangchain_openaiimportChatOpenAI

fromlangchain.globalsimportset_llm_cache, get_llm_cache

# ========== 1. 清理旧缓存（确保演示纯净）==========

CACHE_DB="langchain_demo.db"

ifos.path.exists(CACHE_DB):

os.remove(CACHE_DB)

print(f" 已清理旧缓存: {CACHE_DB}")

# ========== 2. 启用缓存 ==========

set_llm_cache(SQLiteCache(database_path=CACHE_DB))

print(f" 缓存已启用: {get_llm_cache()}\n")

# ========== 3. 配置 LLM ==========

llm=ChatOpenAI(

api_key=os.getenv("DEEPSEEK_API_KEY"),

base_url=os.getenv("BASE_URL"),# Deepseek 的 API 基础地址

model="deepseek-v3:671b",# Deepseek 对话模型（可选：deepseek-chat-pro 等高级模型）

temperature=0.7,# 温度参数（0-1，越低越稳定）

max_tokens=1024# 最大生成 tokens

)

# ========== 4. 核心演示函数 ==========

defdemonstrate_cache_effect(query:str, repeat:int=3):

"""

演示缓存效果：首次调用（慢） vs 后续调用（快）

Args:

query: 要提问的问题

repeat: 重复调用次数（第1次未缓存，后续应命中缓存）

"""

print("="*60)

print(f" 测试问题: \"{query}\"")

print(f" 将重复调用 {repeat} 次（第1次无缓存，后续应命中缓存）")

print("="*60+"\n")

durations=[]

foriinrange(repeat):

print(f"\n[第 {i + 1} 次调用]")

start=time.perf_counter()# 高精度计时

# 关键：使用完全相同的输入触发缓存

response=llm.invoke(query)

duration=(time.perf_counter()-start)*1000# 转为毫秒

durations.append(duration)

# 判断是否命中缓存（通过耗时阈值粗略判断）

is_cached=i >0# 首次通常 >500ms，缓存通常 <50ms

ifi >0:

print('缓存命中,耗时：'+str(duration))

else:

print('真实请求,耗时：'+str(duration))

print(f" 回答: {response.content[:60]}...")

# ========== 5. 执行演示 ==========

if__name__=="__main__":

# 测试标准问题（确保完全相同的字符串）

demonstrate_cache_effect("太阳系哪个行星最大？", repeat=3)

运行结果：

已清理旧缓存: langchain_demo.db
缓存已启用: <langchain_community.cache.SQLiteCache object at 0x000001D668B50410>

============================================================
测试问题: "太阳系哪个行星最大？"
将重复调用 3 次（第1次无缓存，后续应命中缓存）
============================================================

[第 1 次调用]
真实请求,耗时：17445.118000000093
回答: 太阳系中最大的行星是**木星**。以下是关于木星的一些关键信息：

### 木星的基本特征：
1. **体积与质量** ...

[第 2 次调用]
缓存命中,耗时：410.93799999998737
回答: 太阳系中最大的行星是**木星**。以下是关于木星的一些关键信息：

### 木星的基本特征：
1. **体积与质量** ...

[第 3 次调用]