基于地铁客流数据的智能问答系统：结合大模型与SGLang推理加速
基于地铁客流数据的智能问答系统：结合大模型与SGLang推理加速
摘要
随着城市轨道交通网络的快速发展，地铁客流量数据呈现爆炸式增长，如何从海量客流数据中快速获取有价值的信息成为亟待解决的问题。本文基于地铁客流数据构建知识库，利用大语言模型实现智能问答功能，并采用SGLang推理框架进行推理加速，构建了一套完整的问答系统。SGLang作为高性能大模型推理引擎，通过RadixAttention前缀缓存、连续批处理和动态内存管理等技术，能够显著提升模型响应速度和系统吞吐量。本文详细阐述了系统的技术架构、数据集构建方法、SGLang加速原理及核心代码实现，并通过实验验证了系统在轨道交通场景下的实用性。
1 引言
1.1 研究背景
城市地铁系统作为现代城市交通的骨干网络，每日产生海量的刷卡记录（AFC数据）、列车运行数据和站点客流数据。这些数据蕴含着丰富的乘客出行规律，对于优化线路调度、预测客流高峰、辅助商业选址等具有重要价值。然而，传统的数据查询方式依赖结构化查询语言（SQL），普通用户难以直接获取所需信息；而基于关键词匹配的问答系统又受限于语义理解的局限，无法精准回答复杂问题。
近年来，大语言模型在自然语言理解与生成方面展现出卓越能力。以Qwen、DeepSeek等为代表的开源模型，为构建智能问答系统提供了新的技术路径。然而，大模型推理效率是制约其实际应用的关键瓶颈——7B参数规模模型在未优化的情况下单次推理延迟可达数百毫秒，难以满足在线服务的实时性要求。如何在不损失响应质量的前提下提升推理速度，成为智能问答系统落地的核心