2024长文本提示词压缩全攻略

目录

• 长文本提示词压缩全景指南：从「删词」到「压缩隐向量」的全部主流方案
• • 一、为什么长上下文还是要压缩？
  • 二、六大流派全景图
  • 三、方案 1：选择式压缩（Selective / Token-Drop）
  • • 核心思想
    • 代表工作
    • • 3.1 Selective Context (Li et al., 2023)
      • 3.2 LLMLingua 系列（微软，最流行）
    • 一行代码上手
    • 优缺点
  • 四、方案 2：摘要式压缩（Summarization-based）
  • • 核心思想
    • 常见套路
    • • 4.1 单次摘要
      • 4.2 MapReduce（分块摘要）
      • 4.3 Refine（迭代精炼）
      • 4.4 Hierarchical Tree（层次树）
    • 优缺点
  • 五、方案 3：检索式压缩 (RAG)
  • • 核心思想
    • 现代 RAG 的关键升级
    • 优缺点
  • 六、方案 4：Soft Prompt 压缩（隐向量压缩）
  • • 核心思想
    • 代表工作
    • • 6.1 Gisting (Snell et al., 2023)
      • 6.2 AutoCompressor (Chevalier et al., 2023)
      • 6.3 ICAE - In-Context Autoencoder (Ge et al., 2024)
      • 6.4 xRAG (Cheng et al., 2024)
    • 优缺点
  • 七、方案 5：Memory Token / 循环记忆
  • • 核心思想
    • 代表工作
    • 与方案 4 的区别
  • 八、方案 6：KV Cache 压缩（底层机制）
  • • 核心思想
    • 代表工作
    • • 8.1 StreamingLLM (Xiao et al., 2023)
      • 8.2 H2O - Heavy Hitter Oracle (Zhang et al., 2023)
      • 8.3 SnapKV (Li et al., 2024)
      • 8.4 KV Cache 量化
    • 优缺点
  • 九、六种方案横向对比
  • 十、实战选型：8 种典型场景该用什么
  • 十一、组合使用：真实企业级方案
  • 十二、代码：搭一个"最小可用"的压缩管线
  • 2025—2026 年前沿趋势
  • 总结