
以下是文章的主要内容、创新点总结以及摘要、引言和结论部分的翻译:主要内容总结本文针对视频大语言模型(vLLMs)中令牌序列过长导致的计算效率问题,提出了Token Dynamics框架。该框架通过动态令牌聚类和时空信息解耦,将视频表示分解为:简洁令牌库(Token Base):通过聚类相似令牌(如物体部件)生成紧凑的视觉特征。令牌动态图(Token Dynamics Map):记录每个令牌的时空坐标(帧索引、空间位置),保留运动轨迹。此外,提出交叉动态注意力机制(Cross-Dynamics Attention),在不增加令牌长度的情况下将动态信息融入令牌库。实验表明,该方法将令牌数量压缩至原始的0.07%,在NextQA-MC基准上仅损失1.13%准确率,同时在多个视频理解任务中保持竞争力。创新点动态令牌压缩策略:结合自适应聚类(如K-Means)和时空动态图,实现极端令牌压缩(0.07%原始数量)。交叉动态注意力机制:通过多头注意力将动态图信息高效整合到令牌库中,保持紧凑性。极端令牌压缩任务定义:提出固定长度和自适应长度两个子任务,以及分离模块复杂度和LLM复杂度的评估指标。