文章主要内容总结
本文提出了一种名为RHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)的框架,旨在利用大型语言模型(LLMs)进行人类移动性预测和轨迹推理。该框架的核心思路是通过结构化的时间抽象重构移动性建模,将轨迹分割为日常片段并编码为离散token,结合分层注意力机制捕捉每日和每周的依赖关系,同时大幅缩短序列长度。
RHYTHM通过冻结LLM主干网络,利用预计算的提示嵌入增强token表示,在不增加大量计算开销的情况下提升模型对依赖关系的捕捉能力。实验结果显示,在三个真实世界数据集(熊本、札幌、广岛)上,该框架相比现有方法准确率提升2.4%,周末预测准确率提升5.0%,训练时间减少24.6%,验证了其在计算效率和预测性能上的优势。
创新点
- 新颖的时间token化方案:将每日移动模式表示为离散token,捕捉多尺度周期性依赖关系,同时显著缩短序列长度。
- 高效的提示引导整合:通过片段嵌入整合语义轨迹线索和任务描述,增强对复杂移动行为的可解释性。
- 参数高效的LLM适配策略:利用冻结的LLM主干网络,仅需12.37%的模型参数,减少24.6%的计算成本。
- 性能提升:在三个真实数据集上,整体准确率提升2.4%,周末预测准确率提升5.0%,优于现有最先进方法。