当前位置：首页 > news >正文

TKG-Thinker：AI大突破！强化学习赋能时序知识图谱，复杂问答秒杀现有方法！

news 2026/4/2 0:04:33

TKG-Thinker是结合大语言模型与强化学习的时序知识图谱智能体框架，通过"think-plan-act-observe"多轮交互和时间感知工具调用，动态检索并自主决策。它重构了TKGQA为强化学习驱动的序列决策问题，用显式时间工具集和Agent式循环推理，显著提升复杂时序推理性能，在MULTITQ与CronQuestions基准上全面刷新SOTA，证明主动规划+检索+验证是解决复杂时序问题的正确方向。

📌 一句话总结：

本工作提出 TKG-Thinker，一个结合大语言模型与强化学习的时序知识图谱智能体框架，通过 “think–plan–act–observe” 多轮交互与时间感知工具调用，实现动态检索与自主决策，在复杂 Temporal KG 问答任务上显著超越现有所有方法。

🔍 背景问题：

当前基于 LLM 的 Temporal Knowledge Graph QA（TKGQA）方法主要依赖静态 prompting 或一次性 RAG 流程，存在两个关键瓶颈：

1️⃣ 面对 before / after / first / last 等复杂时间约束时，容易出现 reasoning hallucination（时间推理错误或忽略约束）；

2️⃣ 检索—生成流程是静态的，模型无法根据中间结果动态调整搜索策略，缺乏真实环境交互与策略优化能力。

这导致模型即使“看到了证据”，也可能“推理错了顺序”。

💡 方法简介：

作者将 TKGQA 重构为一个强化学习驱动的序列决策问题，提出 Agent 化框架 TKG-Thinker：

• 两阶段训练流程：

Stage 1：Supervised Fine-Tuning（SFT）学习结构化 CoT + 工具调用轨迹，解决冷启动；

Stage 2：Reinforcement Learning（PPO / GRPO）在真实 TKG 环境中交互优化策略。

• 显式时间工具集（Action Space）：

支持 search_before / search_after / search_between / search_time / search_specific 等时间感知检索操作，把“时间推理”转化为“可执行动作”。

• Agent式循环推理范式：

think → plan → tool_call → observation → refine → answer

实现真正的多轮动态检索，而非一次性拼接上下文。

• 多维奖励设计：

Outcome reward：答案是否正确

Retrieval reward：是否成功找到证据

Format reward：是否遵循规范推理轨迹

引导模型学会既推理正确，又检索合理，还结构规范。

📊 实验结果：

在 MULTITQ 与 CronQuestions 两大主流 TKGQA 基准上全面刷新 SOTA：

• 相比最强 LLM-based 方法，

Hits@1 提升：

+7.6%（MULTITQ）

+7.3%（CronQuestions）

• 在复杂多跳问题上提升更显著：

+29.7%（MULTITQ multi-step）

+23.5%（CronQuestions complex）

• 消融实验显示：

去掉 RL / Planning / Temporal Retriever 均出现大幅性能下降，验证每个模块的关键作用。

📄 论文原文：

https://arxiv.org/abs/2602.05818

✨ 一句话点评：

TKG-Thinker 首次把 Temporal KG 推理系统性地升级为 “可交互 Agent + 强化学习优化”范式，证明只有让模型“主动规划 + 主动检索 + 主动验证”，而不是被动拼接上下文，才能真正解决复杂时序推理问题 —— Agentic RL 才是下一代 GraphRAG / TKGQA 的正确方向。

相关文章：